营响力 AI 短剧数字人 Demo
用于验证“数字人形象先进入快快网络素材库审核,再通过特别版 Seedance 2 生成短剧视频”的完整链路。
页面拆分为三个一级模块:
- 人物素材库:负责素材入库、审核、历史素材查看与人物组合,是长期资产管理区。
- 视频素材库:上传并审核 MP4/MOV 公网视频,保留历史视频素材,并可直接引用到当前片段。
- 短剧生产:以一个短剧项目管理多个片段;每段独立配置出场人物、提示词、图片、视频、连续性和生成参数。
在人物素材库点击“用于短剧生产”,会把该人物绑定到当前场景角色并自动进入生产模块。
短剧项目支持新增、复制、删除和调整片段顺序。每个片段可以生成多个候选版本,选定的正式版本会作为后续片段的连续性来源,并最终进入拼接清单。连续性模式包括:独立生成、引用上一片段选定视频、引用上一片段尾帧和仅使用手动参考视频。当前接口已支持上一片段视频作为 reference_video 自动传入;尾帧抽取和最终 MP4 拼接属于下一步服务端能力,页面会明确显示是否已具备前置条件。
已串联的流程
- 输入数字人正面、侧面、背面中任意 1~3 张公网图片 URL。
- 逐张调用
POST /v1/assets/upload,以客户输入的统一令牌提交人物素材审核;无需凑齐三张。 - 对仍在审核的
mat_*素材调用GET /v1/assets/{asset_id},直至本次图片全部ready或出现failed。 - 从全部历史素材中选择多张图片,绑定成可复用的人物/形象;三视图只是常见组合,不再是固定的数据结构。
- 为本场角色选择人物素材,并补充场景、道具等非人物图片及参考视频,组织成官方
content数组后调用POST /sd/api/v3/contents/generations/tasks。 - 用返回的
id调用GET /sd/api/v3/contents/generations/tasks/{task_id},直至succeeded或failed。
视频素材库同样调用 POST /v1/assets/upload,但传入 type: "video";审核完成后的 asset://mat_* 引用可作为当前片段的 reference_video 使用。
视频提交后页面每 2.5 秒自动查询一次,最长持续 30 分钟。只有上游明确返回 failed 才显示生成失败;30 分钟仍为 running 时会保留“仍在生成”状态,不把等待超时误判为失败。任务 ID 会保存在浏览器本地,刷新或重新打开页面后会自动恢复查询。
已完成的候选视频支持“下载视频”和“复制视频链接”。下载直接使用服务商返回的临时签名地址,不占用本 Demo 服务器的视频下载带宽;如果服务商没有返回附件响应头,浏览器可能先打开播放页,用户仍可保存。复制的是本 Demo 域名下以 .mp4 结尾的代理链接,可直接作为后续片段的公网参考视频;服务端会根据任务 ID 重新获取服务商的有效地址。
短剧、片段、候选版本、任务 ID 和视频地址保存在当前域名的浏览器 localStorage 中。普通刷新不会丢失;清理网站数据、使用无痕模式、更换浏览器/设备/域名会丢失本地项目记录。在没有数据库和对象存储的当前版本中,仍建议用户及时下载成品。
不可见审计日志
客户页面不展示请求诊断。页面点击、参数修改、表单提交、视频播放/下载/复制链接、模块与片段切换、前端异常,以及服务端 HTTP 请求、上游调用、任务状态、耗时和错误都会写入 JSONL 日志。
- 默认目录:
./logs/audit-YYYY-MM-DD-PID.jsonl - 生产环境:用
AUDIT_LOG_DIR指向持久化磁盘,并由技术配置日志保留/清理周期 - 脱敏:不记录 API Key、Authorization、Cookie 和签名查询参数;提示词仅记录长度和哈希;URL 仅记录域名、路径与查询字段名
- 关联排查:日志保留
requestId、浏览器clientId/sessionId、客户令牌的不可逆指纹与末四位、任务 ID、服务商trackId、状态码和耗时;不保存完整令牌
10–20 人试用的部署边界
单实例 Node 服务可用于 10–20 人低频试用,但上线必须配置 HTTPS、限流、进程守护和持久日志目录。每位客户首次访问时输入自己的统一令牌,素材与视频请求均使用该令牌,视频生成费用也归属该令牌。assetReviewTasks 与视频任务令牌映射当前仍在单进程内存中,因此暂时应保持单实例部署;如果要多实例扩容,需先将任务状态迁入 Redis/数据库。
页面会分别展示正面、侧面、背面的审核状态与失败原因;未上传的视角保持“未上传”,不会被误判为失败。异步审核任务 ID 会保存在浏览器本地,刷新或重新打开页面后会继续查询;本场角色尚未选择人物素材时不会解锁视频生成。
人物库会读取全部历史素材,并把名称形如“人物名 · 正面/侧面/背面”的素材自动组合成人物;也可以手动选择 1–9 张历史素材创建人物组合。场景支持 1–3 个角色,每个角色可绑定一组人物素材,并在刷新后恢复本场角色。
生产页支持文本、图片和视频三类输入。人物图片与场景、道具等其他参考图片共同占用单次最多 9 张图片额度;参考视频单独计数,当前 Demo 最多 3 条。最终请求按“文本 → 人物图片 → 其他参考图片 → 参考视频”的顺序写入 v3 content 数组,页面会同步生成图号和角色映射。
客户统一令牌保存在客户当前浏览器的 localStorage,并随素材与视频请求提交给本 Demo 服务端;服务端只在内存中建立任务与令牌的临时映射,不写入日志或 Git。清理网站数据或更换浏览器后需重新输入。
本地运行
cp .env.example .env.local
npm start
打开 http://localhost:4173。
请优先通过这个地址访问,不要把 public/index.html 当成普通文档直接打开。页面现已兼容直接打开时的样式加载,但接口交互仍依赖本地服务。
默认 .env.example 使用 Mock 模式,可以先完整评审交互。连接真实接口时设置:
DEMO_MOCK=0
Mock 模式下可将任一素材 URL 写成包含 reject 的地址,验证单张驳回、失败原因和视频生成锁定状态。
线上部署交接
本项目没有第三方 npm 运行依赖,服务器安装 Node.js 20 或更高版本后即可启动:
cp .env.example .env.local
npm start
上线前请完成以下配置:
- 设置
DEMO_MOCK=0;客户令牌不配置在服务器,由客户首次访问页面时输入。 - 设置
HOST=0.0.0.0和实际监听端口,由 Nginx/网关反向代理并提供 HTTPS。 - 将
AUDIT_LOG_DIR指向持久化磁盘,设置随机的AUDIT_HASH_SALT,同时配置日志轮转与清理周期。 - 使用 systemd、PM2 或容器编排守护 Node 进程,异常退出后自动重启。
- 在入口层增加请求频率限制与并发生成限制。
- 发布后访问页面输入客户令牌,检查素材与视频能力均为可用,再分别跑一条素材审核和视频生成链路。
当前素材审核任务状态保存在单进程内存中,首次客户交付建议只运行一个应用实例。若需要多实例扩容,应先把任务状态迁移到 Redis 或数据库。
当前还缺的真实联调材料
- 客户统一令牌:形如
sk-...,由客户首次打开页面时输入,同时用于素材上传/查询与视频提交/查询。 - 数字人人物图片的公网 URL:正面、侧面、背面任选 1~3 张;接口不支持直接上传本地文件或 Base64,URL 需带
.png、.jpg等扩展名。 - 客户希望验证的第一段分镜:人物动作、台词、场景、时长、横竖屏及是否需要同步声音。Demo 已提供一段可替换示例。
- 视频任务成功响应:新版接口在
content.video_url返回临时签名视频地址。
接口边界
- 素材审核与视频生成统一请求
https://ai-api.kkidc.com,并使用客户输入的同一个 Bearer 令牌。 - 新版素材库只在列表中返回
ready素材;pending/failed通过单素材接口查询。 - 视频生成应长期保存素材库返回的
asset://...引用,不要依赖原始图片 URL。 - 参考图/参考视频/首帧/首尾帧属于不同互斥调用方式;本 Demo 采用“多模态参考图”方式。
- 默认视频 720p,时长可选 5–14 秒整数;真人/数字人必须使用审核通过的
mat_*素材 ID。
接口依据:快快 AI Hub 最新文档。
验证
npm test