类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
276
-
浏览
3628
-
获赞
3
热门推荐
-
啥情况恩佐和凯塞多同时注销推特账号,疑似遭到蓝军球迷网暴
2月3日讯 北京时间今早,切尔西中场恩佐和凯塞多都注销了自己的推特账号。目前,已经无法在推特上搜索到两人的账号。两人注销社交媒体的具体原因还不清楚。有不少球迷和媒体表示,在切尔西不敌利物浦的比赛后,众华北空管局气象中心积极备战资质排查
11月3日华北空管局气象部组织对华北地区观测、预报、自动观测系统和天气雷达设备保障四个专业进行资质能力排查考核。为了迎接此次资质能力排查,气象中心高度重视,提前组织各专业一线岗位人员进行培训、复习;在空管技术研究所到三亚开展管制员排班试验验证系统试运行
2020年11月6日,民航空管工程技术研究所简称空管所)到三亚空管站开展管制员排班试验验证系统试运行。空管所承担了2019至2020年度民航局安全能力建设项目《管制席位配置优化研究与应用验证》,三亚空宋江征讨方腊无历史依据 系小说家虚构
农民起义成败启示录北宋宣和年间,宋徽宗为了装饰宫殿,构建园林,派人到东南各地搜刮民间的花石竹木和奇珍异宝,贪官朱勔等乘机敲诈百姓,大发横财。百姓怨声载道,人人思乱。方腊率贫苦大众,以诛贪官为名发动起义王霜英超首秀,可以载入记录的27分钟
转播平台近40万的球迷关注着这一场比赛、当她登场时满屏弹幕都是“她来了”。这是今年1月1日正式加盟热刺后,王霜在正式比赛中的首秀。此前她因伤病影响仅参加过1月8日热刺与查尔顿竞技的友谊赛。 27分钟呼伦贝尔空管站完成气象人员资质排查考核
通讯员:高雪茹)按照2020年华北地区气象人员资质能力排查工作的要求,11月3日,于呼伦贝尔空管站三楼会议室进行了气象人员资质排查闭卷考试 ,此次考试由华北空管局指定专业人员监考,覆盖气象观测、气象预史上最丑的皇帝 翡翠玉玺竟隐藏着惊天秘密
朱元璋的长相之谜,在历史上是个有趣的话题,大多数人都认为,相貌丑陋的画像是真的,而仪表堂堂的画像是画家美化出来的,民间也流传着类似的故事:1368年,朱元璋夺得天下,登基称帝,建立明王朝。朱元璋当了皇宋神宗不敢食神仙所赐延寿丹 于四十七岁而亡
有一位异人曾经预言宋神宗某年会生病,还安排人献药给他,可惜宋神宗认为“眼见为实”,亲眼目睹神仙存在才听信神仙的话,所以没有吃下仙药。途中遇异人服仙药免死北宋熙宁七年,嘉兴僧人道亲,担任秀州副僧正。他有数智赋能驱动融合创新,远光软件亮相2024电力数字化大会
11月6日至7日,2024电力数字化大会在北京举行。大会以“创新驱动、数智引领”为主题,聚焦数字技术在电力行业企业的融合创新应用。中国工程院院士、清华大学教授郑纬民等专家和电力中国古代最刁钻的选婿测试题是出自谁?
导读:话说唐太宗的时候,大唐那是一片欣欣向荣的景象啊。周边的各国看到人家唐朝的日子过得不错,都挺眼馋的。可这儿女、财产争不得气,不是?你自己没那实力,又怨得了谁呢?所以呀,他们各怀心事,揣着相同的梦想中国历史上死的最惨的八位功臣 韩信竟被女人所害
中国历史上下五千年,每位帝王身边都有为国家立下汉马功劳的名臣,不计其数,在他们的一生中为了自己的国家倾心付出,却没有得到应有的回报,最终以惨烈的死法告别了一生效力的国家。接下来让我们一起来了解下中国古揭秘洛水女神宓妃和后羿的爱情故事
羿满载猎物归家,却失去了爱妻,失去了灵药,他怔怔地望着窗外的星空,仰天长啸,他愤怒,继而痛苦,继而消沉,直到在洛水之滨邂逅了洛神宓妃。网络配图宓妃是东方木德之帝伏羲的女儿,渡洛水覆舟淹死,成了洛神。她Vans x Sandy Liang 联名系列下月开售,创意混搭
潮牌汇 / 潮流资讯 / Vans x Sandy Liang 联名系列下月开售,创意混搭2020年02月25日浏览:4521 近日,范斯释出了与纽约设计师 Sandy揭秘千古一帝秦始皇不惜灭一国只为得到他?
韩非(约公元前280--前233年),是中国思想史上的一颗明珠,可以说,这位汉族、战国末期著名思想家、法家代表人物做了了不起得的事情。人们尊敬地称这位说话不利索的书生为韩非子或韩子。本来他是韩国公子,秦二世胡亥到底是怎样残害兄弟姐妹和忠臣
胡亥登上帝位之前就害死了自己的哥哥扶苏。胡亥和赵高、李斯一起伪造了诏书送到在北面边境戍守的扶苏和蒙恬处,假诏书斥责扶苏和蒙恬戍边十几年,不但没立战功,相反还屡次上书肆意非议朝政。扶苏更是对不能回京城做