AnyV2V

一句话简介

AnyV2V 是一个无需训练的即插即用视频编辑框架，可将任意图像编辑技术无缝应用到视频编辑中，支持风格迁移、主题替换、身份操控等多种任务。

网站介绍

AnyV2V 是由加拿大滑铁卢大学、Vector Institute 及 Harmony.AI 等机构联合推出的开源视频到视频（Video-to-Video）编辑框架。该项目于 2024 年 3 月正式发布，相关论文已收录于 arXiv。

AnyV2V 的核心思路是将复杂的视频编辑任务拆解为两个步骤：首先利用现有的图像编辑模型修改视频首帧，再通过图像生成视频模型完成整段视频的转换与一致性保持。整个过程无需额外训练，降低了使用门槛。

该框架主要面向 AI 研究者、视频创作者、开发者以及对 AI 视频编辑感兴趣的技术用户，项目代码以 MIT 协议开源发布。

核心功能/栏目

1. 提示词编辑（Prompt-based Editing）：通过文本提示词对视频内容进行语义层面的修改，如改变场景描述、物体属性等。

2. 参考风格迁移（Reference-based Style Transfer）：根据参考图像的风格，将整段视频转换为对应的艺术风格，这是此前方法难以实现的功能。

3. 主题驱动编辑（Subject-driven Editing）：将视频中的主体替换为指定对象，同时保持视频原有的运动轨迹和场景结构。

4. 身份操控（Identity Manipulation）：对视频中人物的面部特征或身份信息进行替换和调整，适用于虚拟形象、换脸等场景。

5. 即插即用模型接入：支持接入 InstructPix2Pix、InstantID 等主流图像编辑模型，以及 I2VGen-XL 等图像转视频生成模型，灵活组合使用。

6. DDIM 反演与特征注入：通过 DDIM Inversion 和中间特征注入技术，确保生成视频在外观和运动上与原始视频保持高度一致。

推荐优势/特点

1. 无需训练：整个编辑流程不需要针对新任务进行模型微调或大规模数据训练，开箱即用，显著降低使用成本。

2. 高度模块化：框架采用即插即用设计，可自由搭配不同的图像编辑工具和图像转视频模型，灵活适应多种编辑需求。

3. 编辑效果领先：在基于提示词的编辑任务中，AnyV2V 的提示对齐度比此前最优方法高出 35%，人类偏好评分高出 25%。

4. 支持多种新型任务：除传统文本编辑外，还支持风格迁移、主题替换和身份操控等此前视频编辑方法无法完成的任务。

5. 开源免费：项目代码托管于 GitHub，采用 MIT 开源协议，研究者和开发者可自由使用与二次开发。

使用方法/入口指引

1. 访问项目官网（https://tiger-ai-lab.github.io/AnyV2V/）了解框架介绍、效果展示及论文详情。

2. 前往 GitHub 仓库（https://github.com/TIGER-AI-Lab/AnyV2V）获取源代码和安装说明。

3. 按照仓库中的说明配置 Python 环境（推荐 Python 3.10），安装依赖后即可运行。

4. 根据不同编辑任务选择对应脚本：提示词编辑运行 run_prompt.py，风格迁移运行 run_style.py，主题编辑运行 run_subject.py，身份操控运行 run_identity.py。

5. 阅读论文（https://arxiv.org/abs/2403.14468）可深入了解技术原理和实验细节。

同类/相关网站推荐

1. InstructPix2Pix（https://github.com/timothybrooks/instruct-pix2pix）：基于指令的图像编辑模型，是 AnyV2V 支持接入的图像编辑工具之一。

2. I2VGen-XL（https://github.com/ali-vilab/i2vgen-xl）：阿里巴巴推出的图像转视频生成模型，可作为 AnyV2V 的视频生成后端。

3. InstantID（https://github.com/InstantID/InstantID）：零样本身份保持图像生成工具，支持在视频编辑中进行身份操控。

4. Stable Diffusion WebUI（https://github.com/AUTOMATIC1111/stable-diffusion-webui）：广泛使用的 AI 图像生成与编辑平台，拥有丰富的社区插件生态。

5. AnimateDiff（https://github.com/guoyww/AnimateDiff）：基于扩散模型的视频动画生成框架，适用于文本到视频的生成任务。