StoryMem

一句话简介

StoryMem 是由字节跳动与南洋理工大学联合开源的 AI 多镜头长视频生成框架，能够根据故事剧本自动生成角色一致、场景连贯的分钟级叙事视频。

网站介绍

StoryMem 是一款面向 AI 视频生成领域的开源研究框架，由字节跳动研究团队与南洋理工大学联合开发并开源发布。该项目的核心目标是将传统的单镜头视频扩散模型升级为多镜头叙事生成系统，解决 AI 生成长视频时角色"变脸"、场景跳变等一致性问题。

StoryMem 主要面向 AI 视频创作者、动画师、影视预制作人员、内容开发者以及相关领域的研究人员。用户只需输入多镜头故事脚本，即可自动生成包含 8 至 12 个镜头、时长 40 至 60 秒的连贯叙事视频，且角色外貌、场景风格在不同镜头间保持高度统一。

核心功能/栏目

1. 文本到视频生成（T2V）：输入多镜头故事脚本，自动生成完整的叙事视频，支持自定义剧本格式。

2. 图像到视频生成（I2V）：上传参考图像作为初始记忆锚点，驱动模型生成贴合特定角色设定的视频故事。

3. 记忆到视频机制（M2V）：通过动态关键帧记忆库，将历史镜头的视觉信息注入后续生成过程，确保跨镜头一致性。

4. 多镜头无缝转场（MI2V）：利用首帧图像作为条件输入，实现镜头之间的自然过渡与衔接。

5. 动作连贯生成（MM2V）：基于前序镜头的动作信息进行条件生成，使人物动作在不同镜头间更加流畅自然。

6. ST-Bench 评测数据集：提供 300 组多镜头故事提示模板，用于标准化评估长视频生成效果。

推荐优势/特点

1. 跨镜头一致性显著提升：实验数据显示，StoryMem 在角色外观、场景风格等维度的一致性指标较现有主流方法提升约 29%，有效解决了 AI 视频"变脸"难题。

2. 轻量高效的技术方案：基于 Wan2.2 模型仅需 LoRA 轻量微调即可实现多镜头叙事能力，无需海量长视频数据训练，部署门槛低。

3. 完全开源且可扩展：项目代码、模型权重及评测数据集均在 GitHub 和 Hugging Face 上开放，社区已启动 ComfyUI 等平台的技术集成工作。

4. 电影级画质输出：在保持高一致性的同时，延续了基础模型的高画质表现，生成的视频具备丰富的画面细节与自然的光影效果。

5. 灵活的镜头控制能力：支持对镜头类型、运镜方式、景别切换等进行细粒度控制，满足多样化的叙事编排需求。

使用方法/入口指引

StoryMem 为开源项目，需要通过命令行方式部署使用，具体步骤如下：

第一步：访问项目 GitHub 仓库（https://github.com/Kevin-thu/StoryMem），克隆代码到本地环境。

第二步：按照项目文档安装所需依赖环境，下载 Wan2.2 基础模型及 StoryMem LoRA 权重文件（可从 Hugging Face 获取）。

第三步：按照示例格式编写多镜头故事脚本，或使用 ST-Bench 提供的 300 套故事模板。

第四步：运行推理命令生成视频，可根据需要添加参数实现无缝转场（MI2V）、自定义主角（MR2V）等进阶功能。

项目主页地址：https://kevin-thu.github.io/StoryMem/ ，可查看演示视频、技术文档及更多使用说明。

同类/相关网站推荐

1. 即梦 AI（https://jimeng.jianying.com）：字节跳动旗下的一站式 AI 创作平台，搭载 Seedance 2.0 模型，支持文本、图像、视频等多种输入方式生成高质量视频，提供网页端在线使用。

2. Hugging Face（https://huggingface.co）：全球最大的 AI 模型与数据集开源社区，StoryMem 的模型权重文件托管于此，也可浏览其他视频生成相关模型。

3. GitHub（https://github.com）：全球主流开源代码托管平台，StoryMem 的完整源代码、使用文档及问题反馈均在此维护。

4. arXiv（https://arxiv.org）：学术论文预印本平台，可查阅 StoryMem 的完整技术论文（论文编号：2512.19539），了解其技术原理与实验细节。

5. ComfyUI（https://github.com/comfyanonymous/ComfyUI）：流行的节点式 AI 图像与视频生成工作流工具，社区正在推进 StoryMem 技术的集成适配，方便非命令行用户通过可视化界面使用。