“神笔马良版Sora”，阿里团队推出视频AI生成框架Tora：画圈操控物体运动轨迹
金钱魔法师
2024-11-23 23:29:28
0次
Tora由一个轨迹提取器（TE）、一个时空DiT和一个运动引导融合器（MGF）组成。
IT之家 8 月 6 日消息，阿里团队最新推出了 AI 视频生成框架 Tora，同时集成了文本、视觉和轨迹条件用于生成视频，是基于轨迹导向的扩散变换器（DiT）技术。
Tora 由一个轨迹提取器（TE）、一个时空 DiT 和一个运动引导融合器（MGF）组成：
TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动补丁。
MGF 将运动贴片集成到 DiT 模块中，以生成遵循轨迹的连贯视频。
Tora 无缝契合 DiT 设计，支持制作最长 204 帧、720P 分辨率的视频，可以精确控制不同持续时间、宽高比和分辨率的视频内容。大量实验证明，Tora 在实现高运动保真度方面表现出色，同时还能细致模拟物理世界的运动。
其独特设计理念融合文本、视觉和轨迹条件，精准控制视频内容，模拟物理世界运动规律，为电影特效制作、虚拟现实领域带来无限可能。
IT之家附上参考地址
Tora：Trajectory-oriented Diffusion Transformer for Video Generation
GitHub 仓库
技术论文
相关内容
热门资讯
配配查：解构中国配资市场的风险...
配配查：解构中国配资市场的风险与机遇元描述: 深入探讨中国配资市场现状，剖析配配查等平台的...
广州快递为何“越来越快”？
“揽投量倍增、人手还减少”，当大量快递涌入转运中心，寄件收件仍运行顺畅又安全，各类快递效率、质量...
步步高升黄如金，猜猜这是什么菜...
（视频｜新春系列年糕，时长共１分１２秒） “年糕寓意稍云深，白色如银黄色金。” 寓意步步高升...
宁波色母：拟回购不低于5000...
宁波色母（SZ 301019，收盘价：14.68元）2月6日晚间发布公告称，宁波色母粒股份有限公...
煜邦电力(688597SH)：...
格隆汇2月22日丨煜邦电力(688597.SH)公布，近期，公司董事长兼总裁周德勤先生提议通过回购公...
权威医学组织：肥胖已成为南非主...
约翰内斯堡3月5日电 (记者 王曦)当地时间3月5日，南非权威医学组织“心脏和中风研究基金会”对...
设备贴上封条 怀崽母猪也卖 傲...
临近春节，但傲农生物（603363.SH）旗下多家一线猪场员工的工资还没有着落。 “一开始大家...
共饮浓香关东烈酒 《老酒馆》即...
北京1月18日电(记者 高凯)一杯烧刀子品尝人生百味，一条好汉街看尽世事浮华。当曾斩获白玉兰奖、...
时光虽飞逝，但每一个瞬间都值得...
时光虽飞逝，但每一个瞬间都值得珍惜，每一次相遇都充满意义。我昨天在拉萨给坦克400做了保养，原计划今...
金帝股份(603270SH)发...
智通财经APP讯，金帝股份(603270.SH)发布2024年半年度报告，报告期内公司实现营业收入5...