v1tz@blog~$cat ./posts/2026-08-13-rtx3090-comfyui-animatediff.md

ComfyUIAI绘画视频生成本地部署

RTX 3090 本地 AI 视频生成入门(ComfyUI + AnimateDiff)

category=硬件/kind=笔记published=2026-08-13

24GB 显存能做什么、SD1.5 和 SDXL 两条生态为什么不能混、3090 的参数速查,以及 AnimateDiff 之外 Wan、HunyuanVideo 这些新选择。

定位:24GB 显存意味着什么

RTX 3090 的 24GB 显存是本地 AI 视频的关键分水岭。4060/4070 虽然架构更新, 但 8G/12G 显存在跑 AnimateDiff 视频或 SDXL 1024 级分辨率时经常爆显存(OOM)。

24GB 可以做到:

  • SDXL + AnimateDiff 同时加载,不用降分辨率妥协
  • 开 Hi-Res Fix 高清修复
  • 同时挂多个 ControlNet 节点
  • 长序列一次跑 64–128 帧(小显存卡通常只能 16 帧)

两个目标玩法,共用同一套底层模型库:

  1. 文生动画:纯提示词/图片直接生成全新动画
  2. 视频转动漫(Vid2Vid):导入实拍视频,用 ControlNet 提取动作骨骼,重绘成二次元风格

第一步:环境搭建(Windows 整合包)

不要自己配 Python / Anaconda,版本冲突很折磨人。直接用一键整合包:

  1. B 站搜 「秋葉aaaki ComfyUI 整合包」,在视频简介里下载最新版
  2. 解压到 NVMe SSD,预留 200GB 以上空间(模型非常吃硬盘)
  3. 双击 A启动器.exe(绘世启动器)→ 右下角「一键启动」→ 自动弹出浏览器页面,即 ComfyUI 操作界面

第二步:模型配置(关键:分清两条生态路线)

SD1.5 和 SDXL 两套生态不能混用

网上攻略常把两条路线的组件混在一起写。实际上动画模块和 ControlNet 都必须与底模同代:

  • v3_sd15_mm.ckpt、control_v11p_sd15_* 只配 SD1.5 底模
  • Pony V6 是 SDXL 架构,必须配 mm_sdxl_v10_beta.ckpt 和 SDXL 专用 ControlNet

混用会直接报错或出废片。

路线 A:SD1.5 —— 视频转动漫首选,生态最成熟

组件 存放路径 推荐
底模 Checkpoint ComfyUI/models/checkpoints/ Civitai / LiblibAI 上的二次元 SD1.5 底模
动画模块 Motion Module ComfyUI/models/animatediff_models/ v3_sd15_mm.ckpt(AnimateDiff v3)
ControlNet ComfyUI/models/controlnet/ control_v11p_sd15_openpose(骨骼)+ control_v11f1e_sd15_tile(细节过渡)

分辨率 512–768 起步,动作还原最稳,vid2vid 的现成工作流和教程也最多。

路线 B:SDXL / Pony —— 画质上限高,动画模块偏弱

组件 存放路径 推荐
底模 Checkpoint ComfyUI/models/checkpoints/ Pony Diffusion V6 XL 及其二次元/写实衍生模型
动画模块 Motion Module ComfyUI/models/animatediff_models/ mm_sdxl_v10_beta.ckpt(beta 版,动态质量一般)
ControlNet ComfyUI/models/controlnet/ xinsir 等 SDXL 专用 openpose 版本

Pony 系模型两个特点

  • 对人体结构、动作姿态的理解在社区公认最强,衍生模型极多
  • 提示词需要加质量前缀才能出好图:以 score_9, score_8_up, score_7_up 开头

旧版 AnimateDiff-Evolved 插件也认 custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ 这个路径,模型放任意一处即可。


第三步:跑通第一个视频

不要从零连节点(密密麻麻像蜘蛛网,纯劝退)。直接复用现成工作流:

  1. 拿工作流:Civitai / LiblibAI / OpenArt 搜 AnimateDiff Workflow 或 Video to Video openpose
    • 下载 .json 工作流文件,拖进 ComfyUI 网页;
    • 或者直接把别人生成的 AI 图片原图拖进去 —— ComfyUI 会自动读取图片内嵌的节点信息,一键还原整张图的连线
  2. 填提示词:在 Prompt 节点写画面描述(服装、场景、风格)
  3. 点 Queue Prompt 排队生成,1–3 分钟后在 Save Video / Video Combine 节点看结果

3090 参数速查

参数 建议值 说明
总帧数 64–128 约 4–8 秒 @16fps;小显存卡通常只能跑 16 帧(1–2 秒)
Context Options 16 帧滑动窗口 AnimateDiff-Evolved 靠上下文窗口实现长视频
采样步数 Steps 25–30
分辨率 SD1.5:512–768 / SDXL:1024 24GB 才敢在长序列上开这么高
后处理插帧 RIFE / FILM 8/16fps 插到 24–30fps,观感立刻顺滑

素材合规

Vid2Vid 只用自己拍摄或明确授权的素材。拿他人真人视频做换脸或性化处理, 涉及肖像权、名誉侵权和各平台封号红线,法律风险很高,不要碰。


2026 视角补充:AnimateDiff 之外的选择

AnimateDiff 是 2023–24 世代的技术,胜在生态成熟、二次元风格化可控、动作可精确控制。 但纯文生视频的画质上限已被新一代 DiT 视频模型拉开:

  • Wan 2.1 / 2.2、HunyuanVideo、LTX-Video 等开源视频模型, 24GB 显存跑 fp8 / GGUF 量化版正合适,ComfyUI 已原生支持
  • 选型建议:
    • 风格化 vid2vid、需要精确控制动作 → AnimateDiff + ControlNet(本笔记路线)
    • 纯文生视频、追求画质 → 直接上 Wan 系新模型
 
[0] v1tz@blog · ~try: 'help'···--:--:--