ComfyUIAI绘画视频生成本地部署
RTX 3090 本地 AI 视频生成入门(ComfyUI + AnimateDiff)
24GB 显存能做什么、SD1.5 和 SDXL 两条生态为什么不能混、3090 的参数速查,以及 AnimateDiff 之外 Wan、HunyuanVideo 这些新选择。
定位:24GB 显存意味着什么
RTX 3090 的 24GB 显存是本地 AI 视频的关键分水岭。4060/4070 虽然架构更新, 但 8G/12G 显存在跑 AnimateDiff 视频或 SDXL 1024 级分辨率时经常爆显存(OOM)。
24GB 可以做到:
- SDXL + AnimateDiff 同时加载,不用降分辨率妥协
- 开 Hi-Res Fix 高清修复
- 同时挂多个 ControlNet 节点
- 长序列一次跑 64–128 帧(小显存卡通常只能 16 帧)
两个目标玩法,共用同一套底层模型库:
- 文生动画:纯提示词/图片直接生成全新动画
- 视频转动漫(Vid2Vid):导入实拍视频,用 ControlNet 提取动作骨骼,重绘成二次元风格
第一步:环境搭建(Windows 整合包)
不要自己配 Python / Anaconda,版本冲突很折磨人。直接用一键整合包:
- B 站搜 「秋葉aaaki ComfyUI 整合包」,在视频简介里下载最新版
- 解压到 NVMe SSD,预留 200GB 以上空间(模型非常吃硬盘)
- 双击
A启动器.exe(绘世启动器)→ 右下角「一键启动」→ 自动弹出浏览器页面,即 ComfyUI 操作界面
第二步:模型配置(关键:分清两条生态路线)
SD1.5 和 SDXL 两套生态不能混用
网上攻略常把两条路线的组件混在一起写。实际上动画模块和 ControlNet 都必须与底模同代:
v3_sd15_mm.ckpt、control_v11p_sd15_*只配 SD1.5 底模- Pony V6 是 SDXL 架构,必须配
mm_sdxl_v10_beta.ckpt和 SDXL 专用 ControlNet混用会直接报错或出废片。
路线 A:SD1.5 —— 视频转动漫首选,生态最成熟
| 组件 | 存放路径 | 推荐 |
|---|---|---|
| 底模 Checkpoint | ComfyUI/models/checkpoints/ |
Civitai / LiblibAI 上的二次元 SD1.5 底模 |
| 动画模块 Motion Module | ComfyUI/models/animatediff_models/ |
v3_sd15_mm.ckpt(AnimateDiff v3) |
| ControlNet | ComfyUI/models/controlnet/ |
control_v11p_sd15_openpose(骨骼)+ control_v11f1e_sd15_tile(细节过渡) |
分辨率 512–768 起步,动作还原最稳,vid2vid 的现成工作流和教程也最多。
路线 B:SDXL / Pony —— 画质上限高,动画模块偏弱
| 组件 | 存放路径 | 推荐 |
|---|---|---|
| 底模 Checkpoint | ComfyUI/models/checkpoints/ |
Pony Diffusion V6 XL 及其二次元/写实衍生模型 |
| 动画模块 Motion Module | ComfyUI/models/animatediff_models/ |
mm_sdxl_v10_beta.ckpt(beta 版,动态质量一般) |
| ControlNet | ComfyUI/models/controlnet/ |
xinsir 等 SDXL 专用 openpose 版本 |
Pony 系模型两个特点
- 对人体结构、动作姿态的理解在社区公认最强,衍生模型极多
- 提示词需要加质量前缀才能出好图:以
score_9, score_8_up, score_7_up开头
旧版 AnimateDiff-Evolved 插件也认 custom_nodes/ComfyUI-AnimateDiff-Evolved/models/
这个路径,模型放任意一处即可。
第三步:跑通第一个视频
不要从零连节点(密密麻麻像蜘蛛网,纯劝退)。直接复用现成工作流:
- 拿工作流:Civitai / LiblibAI / OpenArt 搜
AnimateDiff Workflow或Video to Video openpose- 下载
.json工作流文件,拖进 ComfyUI 网页; - 或者直接把别人生成的 AI 图片原图拖进去 —— ComfyUI 会自动读取图片内嵌的节点信息,一键还原整张图的连线
- 下载
- 填提示词:在 Prompt 节点写画面描述(服装、场景、风格)
- 点 Queue Prompt 排队生成,1–3 分钟后在
Save Video/Video Combine节点看结果
3090 参数速查
| 参数 | 建议值 | 说明 |
|---|---|---|
| 总帧数 | 64–128 | 约 4–8 秒 @16fps;小显存卡通常只能跑 16 帧(1–2 秒) |
| Context Options | 16 帧滑动窗口 | AnimateDiff-Evolved 靠上下文窗口实现长视频 |
| 采样步数 Steps | 25–30 | |
| 分辨率 | SD1.5:512–768 / SDXL:1024 | 24GB 才敢在长序列上开这么高 |
| 后处理插帧 | RIFE / FILM | 8/16fps 插到 24–30fps,观感立刻顺滑 |
素材合规
Vid2Vid 只用自己拍摄或明确授权的素材。拿他人真人视频做换脸或性化处理, 涉及肖像权、名誉侵权和各平台封号红线,法律风险很高,不要碰。
2026 视角补充:AnimateDiff 之外的选择
AnimateDiff 是 2023–24 世代的技术,胜在生态成熟、二次元风格化可控、动作可精确控制。 但纯文生视频的画质上限已被新一代 DiT 视频模型拉开:
- Wan 2.1 / 2.2、HunyuanVideo、LTX-Video 等开源视频模型, 24GB 显存跑 fp8 / GGUF 量化版正合适,ComfyUI 已原生支持
- 选型建议:
- 风格化 vid2vid、需要精确控制动作 → AnimateDiff + ControlNet(本笔记路线)
- 纯文生视频、追求画质 → 直接上 Wan 系新模型