类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
3686
-
浏览
734
-
获赞
377
热门推荐
-
没有落后的产业,只有落后的技术
在人类历史的长河中,科技进步始终是推动社会发展和变革的关键因素。从远古是时代的简单工具到现代的尖端技术,每一次重大的科技突破,都如同璀璨的星辰,照亮了人类前行的道路。在时代的浪潮中,人们常常会对产业有综合课程有哪些例子简上综合体育馆2023/9/12室外体育娱乐
在缪礼群看来,成都的包涵性也是拓高乐在成都的开展潜力在缪礼群看来,成都的包涵性也是拓高乐在成都的开展潜力。在这里,拓高乐能够把全新的国际化体育和文娱设备与体验带到成都,不只包罗球类活动,还包罗国际化的体育基本知识综合课程有哪些例子!体育综合体商业模式
其他效劳业态多与形象办理有关,瑜伽课程、美发沙龙、美甲效劳等都能从 Life Time Center 得到其他效劳业态多与形象办理有关,瑜伽课程、美发沙龙、美甲效劳等都能从 Life Time Cen水风光综合基地手机新浪网体育体育生综合分
甘肃2023年一般高档黉舍招生戏剧与影视学播送电视编导)类专业省统考测验工夫:2023年1月6日体育单招的文明课测验科目由语文水风景综合基地、数学、政治、英语四科构成手机新浪网体育,每科满分为150分美潮 NOAH 2020 全新春夏配饰系列上架发售
潮牌汇 / 潮流资讯 / 美潮 NOAH 2020 全新春夏配饰系列上架发售2020年02月16日浏览:3858 自不久前的 2020 春夏系列型录中,我们看到了美潮体育成绩查询平台英亚体育官方登录天天直播体育直播
每项测验成就就地向考生宣布并由自己具名确认每项测验成就就地向考生宣布并由自己具名确认。考生若对某项成就有贰言,本项目测验卖力人卖力就地向考生做出注释。考前14天起考生停止安康监测,考生参与测验时,须出综合实践课是什么课综合体育课程
厥后她找到了一个教人踢毯子的事情,每个月不到600元,固然未几,但委曲能够保持糊口厥后她找到了一个教人踢毯子的事情,每个月不到600元,固然未几,但委曲能够保持糊口。以后为了保存综合体育课程,她去卖过千亿体育体育知识体系?半岛体育app
▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼强!麦迪逊本赛季客场送出6记助攻,五大联赛球员中最多
2月3日讯 在英超第23轮比赛中,麦迪逊助攻理查利森破门,帮助热刺客场2比1领先埃弗顿。据Squawka统计,本赛季至今,麦迪逊在联赛客场比赛中送出6记助攻,五大联赛球员中最多。 木子)标签:埃弗顿2023体育类院校捕鱼体育
4月11日,此次2021年泉州市青少年足球 春季联赛的最 后一轮比赛2023体育类院校,如约在那尔多足球公园西湖基地举行,八支队伍轮番上阵,进行最后的较量4月11日,此次2021年泉州市青少年足球 春新利体育体育综合是统考吗—山猫在线体育直播
威尼斯首发:7-P·马佐奇、30-M·斯沃博达、32-P·切卡罗尼、28-D·申奈格体育综合是统考吗、33-D·齐尔尼戈伊、5-A·J·瓦卡、27-G·布西欧新利体育、23-S·基伊内、77-D·奥克久事体育集团官网体育学专业基础综合2023年9月18日
户外篷房篮球馆接纳铝合金尺度模块化单位组合构造,制作速率快体育学专业根底综合、设想灵敏多变、节省劳动力且巩固耐用户外篷房篮球馆接纳铝合金尺度模块化单位组合构造,制作速率快体育学专业根底综合、设想灵敏多AJ1 LOW 鞋款全新巴黎城市主题配色即将登陆
潮牌汇 / 潮流资讯 / AJ1 LOW 鞋款全新巴黎城市主题配色即将登陆2020年02月14日浏览:4422 借势高帮 Air Jordan 1 的超高人气,Air千亿体育体育知识体系?半岛体育app
▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼开云体育官网登录体育学基础综合tvt体育登录入口
王者光彩全新行动手游《代号:拂晓》,秉承王者光彩豪杰形象和妙技,带来极致直爽的行动游戏体验王者光彩全新行动手游《代号:拂晓》,秉承王者光彩豪杰形象和妙技,带来极致直爽的行动游戏体验。稷放学院的通天星灯