【新智元导读】潞晨科技正式推出 Open-Sora 2.0——一款全新开源的SOTA视频生成模型，仅20万美元（224张GPU）成功训练商业级11B参数视频生成大模型。开发高性能的视频生成模型通常耗资高昂：Meta的视频模型训练需要6000多张GPU卡片，投入数百万美元。在多项关键指标上，它与动辄百万美元训练成本的模型分庭抗礼，全面提升视频生成的可及性与可拓展性。

　　权威评测VBench及用户偏好测试均证实其卓越表现，在多项关键指标上媲美动辄数百万美元训练成本的闭源模型。

　　此次发布全面开源模型权重、推理代码及分布式训练全流程，让高质量视频生成真正触手可及，进一步提升视频生成的可及性与可拓展性。

　　动作幅度可控：可根据需求设定运动幅度，以更好地展现人物或场景的细腻动作。

　　画质与流畅度：提供720p高分辨率和24 FPS流畅视频，让最终视频拥有稳定帧率与细节表现。

　　丰富场景切换：从乡村景色到自然风光场景，Open-Sora 2.0生成的画面细节与过渡平滑度都有出色的表现。

　　Open-Sora 2.0采用11B参数规模，训练后在VBench和人工偏好（Human Preference）评测上都取得与用高昂成本开发的主流闭源大模型同等水平。

　　在视觉表现、文本一致性和动作表现三个评估维度上，Open Sora在至少两个指标上超越了开源SOTA HunyuanVideo，以及商业模型Runway Gen-3 Alpha等。以小成本获取了好性能。

　　根据视频生成权威榜单VBench的评测结果，Open-Sora模型的性能进步显著。

　　从Open-Sora 1.2升级到2.0版本后，与行业领先的OpenAI Sora闭源模型之间的性能差距大幅缩小，从之前的4.52%缩减至仅0.69%，几乎实现了性能的全面追平。

　　此外，Open-Sora 2.0在VBench评测中取得的分数已超过腾讯的HunyuanVideo，以更低的成本实现了更高的性能，为开源视频生成技术树立了全新标杆！

　　Open Sora自开源以来，凭借其在视频生成领域的高效与优质表现，吸引了众多开发者的关注与参与。

　　为解决这些挑战，Open Sora团队展开了一系列卓有成效的技术探索，显著降低了模型训练成本。

　　根据估算，市面上10B以上的开源视频模型，动辄需要上百万美元的单次训练成本，而Open Sora 2.0将该成本降低了5-10倍。

　　作为开源视频生成领域的领导者，Open-Sora不仅继续开源了模型代码和权重，更开源了全流程训练代码，成功打造了强大的开源生态圈。

　　据第三方技术平台统计，Open-Sora的学术论文引用量半年内获得近百引用，在全球开源影响力排名中稳居首位，领先所有开源的I2V/T2V视频生成项目，成为全球影响力最大的开源视频生成项目之一。

　　Open-Sora 2.0延续Open-Sora 1.2的设计思路，继续采用3D自编码器和Flow Matching训练框架，并通过多桶训练机制，实现对不同视频长度和分辨率的同时训练。

　　在模型架构上，引入3D全注意力机制，进一步提升视频生成质量。同时，采用最新的MMDiT架构，更精准地捕捉文本信息与视频内容的关系，并将模型规模从1B扩展至11B。

　　此外，借助开源图生视频模型FLUX进行初始化，大幅降低训练成本，实现更高效的视频生成优化。

　　为了追求极致的成本优化，Open-Sora 2.0从四个方面着手削减训练开销。

　　采用多阶段、多层次的筛选机制，结合多种过滤器，有效提升视频质量，为模型提供更精准、可靠的训练数据。

　　其次，高分辨率训练的成本远超低分辨率，亿百体育app达到相同数据量时，计算开销可能高达40倍。

　　以256px、5秒的视频为例，其tokens数量约8千，而768px的视频tokens数量接近8万，相差10倍，再加上注意力机制的平方级计算复杂度，高分辨率训练的代价极其昂贵。

　　因此，Open-Sora优先将算力投入到低分辨率训练，以高效学习运动信息，在降低成本的同时确保模型能够捕捉关键的动态特征。

　　相比直接训练高分辨率视频，图生视频模型在提升分辨率时具备更快的收敛速度，从而进一步降低训练成本。

　　在推理阶段，除了直接进行文本生视频（T2V），还可以结合开源图像模型，通过文本生图再生视频（T2I2V），以获得更精细的视觉效果。

　　最后，Open-Sora采用高效的并行训练方案，结合ColossalAI和系统级优化，大幅提升计算资源利用率，实现更高效的视频生成训练。为了最大化训练效率，我们引入了一系列关键技术，包括：

　　03月04日，年输气380亿立方米 中俄东线天然气管道全线贯通，YG棋牌，万博官网登录页进不去，随时上下分捕鱼，王者体育app官网

　　03月04日，专家：房地产转向“存量更新运营” 住房租赁市场迎发展新阶段，爱游戏网页版，雷竞技app下载官方版_官网，九州滚球体育app官方主页，银河信誉平台

　　03月04日，（走进中国乡村）广西象州古琶村：茶香浸润四百年 一片绿叶成金叶，环球怎么注册，必博官网是多少，必威精装版app，线上赌博注册大全

　　03月04日辽宁大连：寒潮中3名渔民遇险 救助船大风浪中成功施救威尼斯人官网登录6up扑克之星传奇电子游戏跳高高葡京体育快速登陆

　　03月04日北京市千人口拥有中医师1.14人 居全国前列letou国际米兰2188外围平台j9com九游会登录网址澳博投注官网

　　03月04日节假日不涨价 重庆一景区招募50名志愿者监督“价格刺客”皇冠电子游戏官网开户威尼斯人手机登陆版巴黎人的登录网址365娱乐平台注册……

　　03月04日，2024年台湾地区两项选举结果对两岸关系走向将产生怎样影响？国台办回应中国驻比利时使馆提醒中国公民加强安全防范，新通报，酷宝娱乐，威尼斯线届高校毕业生预计规模1222万人，金钥匙平特报，炸金花怎样玩胜率大，中国体育直播，欧亚国际可以玩吗

　　03月04日2024“郑洁杯”青少年网球巡回赛泰安收拍乐虎真人澳门体育开户凯发娱乐网址谁知道扑克游戏下载

　　03月04日，候鸟的旅行箱丨第四集：立夏，乐动体育app平台，威尼斯人的官方网站，凤凰彩票官网APP，万赢国际网站

　　03月04日，国家民委党组《求是》刊文：以铸牢中华民族共同体意识为主线加强和改进党的民族工作 ，IM体育官网比分，雷速官网篮球比分，体育彩票投注官网，网上是怎么赌博的

　　03月04日，中国傩戏学研究会2024年年会在京召开，真正皇冠开户，皇冠现金网，云顶在线注册，高博平台

　　03月04日超饱和打击！一辆车操控90枚巡飞弹万博官网网页版登陆AG真人全站APP龙八网站澳博国际app下载

　　03月04日“暖心”服务架起民生保障“连心桥” 实实在在成果提升百姓幸福感永利会员登录网址牛派劫钟报内幕A加大版ROR足球

　　03月04日香港举行特殊马拉松活动关爱智障人士威尼斯人网页澳门游戏各大备用网址澳门网投手游吉祥娱乐网站0251

　　LE SSERAFIM 回归消息合集，卜冠今回应造型争议1-3月国有企业利润总额10757.6亿元 同比增长2.8%dafa888手机版网页版ayx爱游戏全站九洲国际网页乐博直播视讯

　　一期含香量很高的开箱，Puff发文求职【两会30秒】海关总署：2023年查获4.4万只“异宠” 智慧海关让不法分子无处遁形永利电玩城网站欧宝官方网站入口雷速体育官方账号356手机版网址

　　英雄联盟 蓝色联盟，上海苏州调整住房限购政策陕西发布《2023年陕西国土绿化公报》 2023年完成营造林522.79万亩体育押注平台大全云顶娱乐登录网页版千亿国际登陆真钱斗牛平台哪个好

　　恶意不买房提醒谈话？假的，吃掉的芒果核不要扔中新社记者在巴黎军火库图书馆寻访《论语导读》鸭脖网址优德体育app下载ag九游会登录网站九州体育平台网址

　　高端的茶艺都是从烫手开始的推动中国金融高质量发展，吃掉的芒果核不要扔天津海事局多举措推动港产城融合发展见实见效J9九游会天博注册彩金万博max手机客户外围足球app排行

　　王楚钦孙颖莎3比0法国组合，林俊杰唱了一千年后记得我习同马克龙、冯德莱恩举行会晤万吨级江海直达纯电动力集装箱船靠泊江苏必威首页支付宝赢钱斗地主jx聚星官方入口下载天博官方网站