Sora采用了diffusion transformer,而这来自于谢赛宁和Peebles, William发表于2023年的文章。
谢赛宁是纽约大学Assistant Professor,上海交大本科,后来在UC San Diego拿到博士,指导老师是另一位年轻的华裔。从这几个最近的例子看出,华人在AI领域还是有很多天分的。
联想到之前chaptgpt刚火的时候,很多学生利用它来写作业。后来普林斯顿一名华裔学生Edward Tian开发了一款反作弊工具,该学生毕业于多伦多UTS, 他父亲是肉联网友
Sora is a diffusion model21,22,23,24,25; given input noisy patches (and conditioning information like text prompts), it’s trained to predict the original “clean” patches. Importantly, Sora is a diffusion transformer.26