← 首页

拿照片素材生成视频:Vidu S2 有没有开源替代?开源视频换脸方案对比

调查日期:2026-11-10 · 方法:Desearch API(api.desearch.ai)联网检索 5 轮 + WebSearch 交叉核验 · 起因:「目前拿照片素材直接实时生成视频的只看到 Vidu S2,还有没有开源方案?另外开源视频换脸都有哪些,对比特性和价格」

一、结论(先说答案)

① 没有任何一个开源项目能完整覆盖 Vidu S2 的三件套(参考生视频 + 实时流式编辑 + 实时交互数字人),但按能力拆开,每一项都有对应的开源方案。参考素材生视频最接近的是快手 Phantom / Phantom-Wan(ICCV 2025,开源权重);“实时流式”理念上最接近的是 Sand AI 的 MAGI-1(24B 自回归世界模型,按块流式生成);照片驱动类需求用 LivePortrait 已经够用。

② 开源换脸的第一梯队是 FaceFusion(通用全能)和 Deep-Live-Cam(实时摄像头),两者都建立在 InsightFace 的 inswapper_128 之上;Rope 系是 Windows 向 GUI 的代表(原版停更,分叉 Rope-next 在维护);DeepFaceLab/DeepFaceLive 已归档但仍是训练系质量上限;2026 年的新路线是扩散式“原生重建”(Flux.2 klein + BFS LoRA)。

③ 价格:开源工具本地部署全部免费(成本只有显卡和电)。最大的坑在许可:InsightFace 代码是 MIT,但 inswapper 等模型权重仅限非商业研究用途,商用需联系 InsightFace 授权。

二、Vidu S2 到底做了什么(对标基准)

来源:Vidu 官网、腾讯新闻、知乎技术分析(见文末来源),论文编号 HuggingFace 2609.11638

能力说明开源界对应物
参考生视频上传人物、物品、场景等多类参考素材,跨多镜头保持主体一致性、自然衔接(官方称全球首个参考生视频功能)Phantom / Wan 2.2 VACE 等,能力相当
实时流式编辑
(S2-Editing)
摄像头 / 视频 / 图片三种输入,基于风格、服装、主体、背景参考图对视频流实时编辑输出,“边拍边 P 视频”;帧对齐流式架构减少时间错配无完整等价物;MAGI-1 提供流式生成底座,Wan VACE 提供参考编辑,两者拼起来接近
实时交互数字人
(S2-Avatar)
一张照片生成可实时互动的 AI 角色,720p、无限时长,支持中途注入道具 / 服装、大幅度肢体动作Phantom 团队的 HuMo(参考图 + 音频驱动)接近但非实时;LivePortrait 是照片驱动非生成
空间视频高分辨率空间(3D)视频生成本轮未检索到对标开源项目

三、参考素材生视频:开源方案对比

方案谁家特性许可 / 门槛定位
Phantom / Phantom-Wan快手专门做“主体一致生视频”(cross-modal alignment),参考图 → 视频;1.3B / 14B / 14B Pro 三档权重,已适配 ComfyUI;配套开源跨模态配对数据集 Phantom-Data;ICCV 2025 论文基于 Wan 底座开源(Apache 2.0 系);1.3B 消费级可跑★ 最接近 S2 参考生视频
Phantom 团队 HuMo
(2025-09)
快手人体中心:文本 + 参考图 + 音频多模态输入,主体保持 + 音画同步动作开源★ 接近“照片素材 → 数字人视频”
Wan 2.2 + VACE阿里多参考图 / 视频的生成与编辑全能底座,社区生态与 LoRA 生态最大;⚠️ Wan 3.0 已转纯 API 收费(约 $0.05–0.20/秒)不开源,开源版本停在 2.2Apache 2.0;1.3B 低显存可跑,14B 质量更高参考编辑底座
LTX-2.5 / LTX-VideoLightricks4K + 原生音频一次生成;IC-LoRA 控制(深度 / 姿态 / 边缘 / 运动轨迹);推理速度是第一卖点,2B 版可实时 / 近实时;12GB 显存起步(2B 快速版 8GB 即可)⚠️ 非 OSI 开源:年收入 1000 万美元以下免费速度优先
HunyuanVideo 1.5腾讯单张消费级显卡可跑,运动质量口碑好开放权重消费级首选之一
MiniMax H3 开源版MiniMax质量排名高(2026-10 全景对比中开源第一梯队)⚠️ 许可排除美国 / 欧盟 / 英国 / 韩国(中国大陆使用不受限)高质量,许可看地区
Kandinsky 6.0 Video—2026-10-06 新发布MIT 许可(本轮最宽松)新入场,生态待观察
CogVideoX(-1.5)智谱文本跟随精确、长镜头连贯,叙事向开放权重文生视频老牌

“实时 / 流式”这一项的开源现状

方案说明判定
MAGI-1(Sand AI)24B 参数自回归世界模型,按 24 帧小块(chunk)流式生成、视频无长度上限;因果生成天然适合流式 / 交互场景;完全开源(代码 + 技术报告,arXiv 2505.13211,被引 257+)。2025-04 发布★ 理念上最接近 S2 的“流式”,但体量大、需要大显存 / 多卡,且不做参考编辑
LTX-Video / LTX-2.5主打实时 / 近实时推理,2B 快速版在现代 GPU 上可交互式出片,8GB 显存起步、单条最长 2 分钟“快”有,“参考 + 实时编辑”没有
LivePortrait(快手)严格说是照片“驱动 / 表情迁移”不是生成:拿一张照片实时驱动出视频,速度极快;FaceFusion 3.6 已内置其口型接力照片活化类需求的最省方案

拼装建议(约等于开源版 Vidu S2):Phantom(-Wan/HuMo) 管参考一致性 + Wan 2.2 VACE 管参考编辑 + MAGI-1 管流式实时 + LivePortrait 管照片驱动。想要 S2 那种“摄像头输入 + 参考图实时改写”的一体化体验,目前开源界确实是空白——这也是 Vidu S2 的差异化卖点。

四、开源视频换脸方案对比

方案类型特性价格状态
FaceFusion通用全能(首选)包装 inswapper_128 + RetinaFace / YOLOFace 检测 + GFPGAN / GPEN / CodeFormer 修复链,逐帧处理视频;3.6 版改进时序一致性、LivePortrait 口型接力、更清爽的 Gradio 界面;多脸、可脚本化、离线无遥测,Win / macOS / Linux。短板:128px 原生分辨率瓶颈、Python + CUDA + ONNX 环境折腾免费活跃
Deep-Live-Cam实时摄像头实时换脸 + 一键视频 deepfake,单张照片即可;ONNX Runtime 跨平台(CUDA / CoreML / OpenVINO / DirectML / CPU 都能跑,无 GPU 也可用);mouth mask 保留原口型;模型约 300MB。2024 年中爆火(Ars Technica、LTT、IShowSpeed 直播均报道过)开源核心免费;官网另售 Ultimate 付费版(30+ 功能、预编译免配置)活跃(稳定版 2.1.6)
Rope → Rope-nextWindows GUIinswapper_128 图形界面起家;Rope-next 分叉持续维护:DFL/DFM 训练模型混用、TensorRT 加速(CUDA 张量直通)、关键点手动微调、Restore Eyes / Mouth、桌面窗口捕获换脸模式免费原版停更;Rope-next 维护中(Stable 1.1.01)
DeepFaceLab / DeepFaceLive逐对训练系GAN 编码器-解码器架构,需针对特定人脸训练,质量上限最高、工期最长;DeepFaceLive 做实时免费已归档
ComfyUI-ReActor工作流节点ComfyUI / SD WebUI 内的换脸节点,适合嵌入生成管线(也被 Civitai 2026 指南列为主流方式之一)免费活跃
Roop一键式老牌现代一键换脸 App 的“祖父”,极简;内部人脸分辨率上限低(128px),需外接修复 / 放大免费停更
Flux.2 klein 9B + BFS LoRA扩散“原生重建”新路线2026 新 SOTA:扩散模型直接在生成过程中重建目标脸,而非检测-贴图-修复的后处理,质量天花板最高;算力消耗大,适合有 A100 / 大显存卡的用户免费(需大显卡)前沿
SimSwap 等学术模型研究代码one-shot 换脸的学术经典(本轮未单独核验现状)免费学术维护

五、价格与许可的三个关键点

六、选型速查

你的需求推荐理由
像 Vidu S2 那样多图参考生视频Phantom-Wan 14B(显卡弱用 1.3B)或 Wan 2.2 VACE主体一致性是它们的主课题
照片素材 → 说话 / 动作数字人HuMo(开源)或闭源 Vidu S2-Avatar开源侧音画同步可选 HuMo,实时交互仍闭源领先
实时流式 / 交互式生成MAGI-1(大显存)或 LTX-Video(轻量快速)自回归 chunk 流式 vs 极速扩散
照片实时驱动表情动作LivePortrait不是生成但最快最稳
视频换脸(通用)FaceFusion生态最全、持续更新、跨平台
视频通话 / 直播实时换脸Deep-Live-Cam实时延迟可接受、单照片、CPU 都能跑
Windows 上精调参数Rope-next关键点微调 + TensorRT 加速
极致质量、愿意花几天训练DeepFaceLab(归档仍可用)/ Flux.2 + BFS LoRA(新路线)训练系上限 vs 扩散重建上限
要商用上架先解决 inswapper 权重授权否则选可商用许可的底座

伦理提醒:以上换脸工具均要求——使用真人面部需取得本人同意,对外分享需明确标注为 deepfake。自用研究无碍,公开传播注意平台规则与法律风险。

七、来源

注:各项目更新很快,本页为 2026-11-10 快照;“状态”列以当时检索结果为准。托管 API 单价未能取得稳定报价,文中不列具体数字。