Latte

Latte 是由上海人工智能实验室联合多家机构开源的 AI 视频生成模型，被称为"开源版 Sora"，支持通过文字描述自动生成视频内容。

网站介绍

Latte（全称 Latent Diffusion Transformer for Video Generation）是全球首个开源的文生视频 Diffusion Transformer（DiT）模型。该项目由上海人工智能实验室研究团队联合其他机构共同开发，于 2023 年 11 月正式开源，早于 OpenAI 的 Sora 模型发布。

Latte 的核心功能是根据用户输入的文本提示词（Prompt），自动生成对应的视频片段。它面向 AI 研究者、开发者、视频创作者以及对 AI 视频生成技术感兴趣的技术爱好者，提供完整的训练与推理代码，方便学术研究和二次开发。

项目代码托管在 GitHub 上，采用开源协议发布，论文已在 arXiv 上公开发表。

核心功能/栏目

1. 文本生成视频（Text-to-Video）：输入自然语言描述，模型自动生成对应内容的短视频，支持多种场景和主题。

2. 多数据集模型推理：提供 FaceForensics（人脸生成）、SkyTimelapse（天空延时）、UCF101（动作识别）、Taichi-HD（高清视频）四个预训练模型，分别对应不同场景的视频生成。

3. 模型训练与微调：提供完整的训练脚本（train.py），支持类条件和无条件模型训练，也支持图像与视频联合训练（train_with_img.py）。

4. 多种模型变体：提供 4 种时空注意力机制变体（时空交错式、时空顺序式、串联式、并联式），以及 S/B/L/XL 四种模型尺寸供选择。

5. 项目文档与论文：GitHub 仓库包含详细的使用说明、配置文件示例，论文详细阐述了模型设计思路和实验分析。

6. 社区生态支持：模型设计已被 Open-Sora Plan（北京大学）和 Open-Sora（ColossalAI）等多个知名开源框架引用和参考。

推荐优势/特点

1. 全球首个开源文生视频 DiT 模型：在 Sora 发布之前就已开源，技术路线与 Sora 相似，为社区提供了重要的研究和参考基础。

2. 完全开源免费：代码、预训练模型权重、训练脚本和论文全部公开，个人和研究机构可自由使用和修改。

3. 学术性能领先：在 FaceForensics、SkyTimelapse、UCF101、Taichi-HD 四个标准视频生成数据集上均取得了当时的最优性能（SOTA）。

4. 模型设计经过严格验证：团队对 Token 提取方式、条件注入模式、位置编码、模型初始化、联合训练策略等关键设计进行了系统性的实验对比，给出了明确的最佳实践建议。

5. 良好的可扩展性：实验证明扩大模型规模可显著提升生成质量，为后续的大规模视频生成模型开发提供了正确的技术方向。

使用方法/入口指引

1. 访问项目主页：通过浏览器打开 Latte 项目主页 https://maxin-cn.github.io/latte_project/ ，可查看模型介绍、生成效果演示和相关资料。

2. 获取源代码：前往 GitHub 仓库 https://github.com/Vchitect/Latte ，使用 Git 命令克隆代码到本地：git clone https://github.com/Vchitect/Latte.git

3. 环境配置：根据仓库中的 README 文档安装所需的 Python 依赖和 PyTorch 环境，需要配备 GPU 设备。

4. 运行推理：下载预训练模型后，使用 sample 目录下的脚本进行视频生成。例如运行 bash sample/t2v.sh 可实现文本到视频的生成，运行 bash sample/ffs.sh 可进行人脸视频生成。

5. 自定义训练：如需在自己的数据集上训练，可修改 configs 目录下的配置文件，使用 torchrun 命令启动分布式训练。

6. 阅读论文：论文地址为 https://arxiv.org/pdf/2401.03048v1.pdf ，建议在使用前仔细阅读以了解模型原理和最佳实践。

同类/相关网站推荐

1. Open-Sora（https://github.com/hpcaitech/Open-Sora）：由 ColossalAI 团队开发的开源视频生成项目，参考了 Latte 的模型设计，致力于复现 Sora 的能力。

2. Open-Sora Plan（https://github.com/PKU-YuanGroup/Open-Sora-Plan）：由北京大学团队发起的开源视频生成计划，同样借鉴了 Latte 的技术方案，社区活跃度高。

3. Stable Video Diffusion（https://github.com/Stability-AI/generative-models）：由 Stability AI 推出的开源视频生成模型，基于 Stable Diffusion 架构扩展至视频领域。

4. Sora（https://openai.com/sora）：OpenAI 推出的文生视频模型，是目前商业领域最受关注的 AI 视频生成产品，Latte 在技术路线上与其有相似之处。

5. CogVideoX（https://github.com/THUDM/CogVideo）：由清华大学团队开源的大规模文生视频模型，支持较长时长的高质量视频生成，是 Latte 之外另一个值得关注的国产开源方案。