渲染完成的提示打在终端上:46.8 秒成片,1 分 18 秒跑完,4.5 MB。

从成片里抽一帧出来看。这一帧的画面是「体验当场碎掉。」,按设计,最后两个字应该亮起一圈珊瑚色的光。

它是白的。

同一份文件的 check 报告里,Runtime 0 error,Layout 0 error,Motion 0 error,Contrast 0 error。

01 出片了,但它是一次失败

一篇关于两个小杯模型速度实测的文章,被做成了 46.8 秒的竖屏短视频。结构是六帧:首字延迟的体感开题,两条 token 流的计数器爬升,4.3 秒的量尺,一句论点,一个第三方锚点,两条判断标准收尾。

工具链全程跑通。6 帧、6 段旁白、11 个音效、4 处转场全部就位,lint 与 check 都是零警告,MP4 规格 1080×1920、30fps,时长 46.83 秒,和分镜设定的 47 秒对得上。

这条流水线一共七步。意图访谈定下 brief,写分镜与旁白稿,选设计规范,出线框图给人工确认,六个 worker 并行建帧,生成字幕并组装,最后注入转场、跑检查、渲染。

每一步都有独立产物和检查点,人只在三处被叫停:分镜批准、线框批准、渲染批准。中间的执行全部自动。

按流程定义,这次交付合格。

按观众标准,它是失败的。三个问题各自独立,而且都躲过了所有自动检查。

第一,旁白吐字不清晰,听感难受。这是最直接的一条,也是观众第一秒就会察觉的。

第二,有一帧在成片里是静止的,它承载的论点视觉根本没出现。

第三,BGM 完全没有,设计稿里写的「计数器爬升绑到音乐节拍」这条定制项落空。

02 卡点分三层,危险程度差很多

复盘下来,这三件事性质不同。可以叫它视频生成的三层失败。

第一层是显性失败。工具跑不起来,报错明确,缺什么一目了然。这次撞上的是网络:

[WinError 10060] 连接尝试失败。
huggingface.co/facebook/musicgen-small/resolve/main/config.json
Retrying in 5/5
curl: (35) Recv failure: Connection was reset
https://cdn.jsdelivr.net/npm/gsap@3.14.2/dist/gsap.min.js

pip 到 PyPI 实测 12 kB/s,装 12.6 MB 花了 18 分钟。musicgen-small 权重 2.3 GB,镜像实测 4.3 KB/s,算下来 6 天多。

同一层还有两条工具链摩擦。组装阶段直接报错退出,因为子合成的 data-composition-id 必须等于文件名:

✗ assemble-index.mjs: frame 1 (首字的体感):
  compositions/frames/01-first-token-feel.html
  has no data-composition-id="01-first-token-feel" (host/inner id must match)

六个 worker 各自用了 f01 到 f06 这样的短 id,全都要改成 slug。另外 code-editorial 的三个字族都没有中文字形,中文全靠系统字体回退,lint 直接判 error:

✗ font_family_without_font_face: Font families used without @font-face
  declaration: microsoft yahei, pingfang sc, noto sans sc

这类问题消耗的是时间,不影响成品质量。换成纯 CPU 的 wheel index、走国内镜像、把 GSAP 落到本地、给 CJK 字体加 src: local() 声明,都能解决。最后确实都解决了,渲染不再依赖外网。

第二层是静默失败。工具告诉你一切正常,输出是错的。这一层最贵。

03 检查全过,却没提那一帧

帧 04 承载的是全片的论点:吞吐慢一倍忍得了,首字慢十倍体验当场碎掉。按设计,「碎掉」两个字要在旁白念到的那一刻点亮成珊瑚色。

渲染日志里其实留了线索:

[WARN] Render completed capture with correctness warnings
  warningCodes: ["sub_timeline_readiness_timeout"]
  Sub-composition timelines did not become ready within 45000ms
  (still unregistered: 04-two-kinds-of-slow)

它只是一个 warning,渲染照样完成。

抽帧之后问题才显形。用 PIL 扫描画面里的珊瑚色像素(R>170 且 R-B>60):

f04 @27.2s  珊瑚像素分布:  y=1720:355   y=1040:3   y=1080:3

y=1720 是字幕胶囊的下划线,300 多个像素,正常。y=1040 到 1080 是「碎掉」所在的位置,3 个像素,等于没有。

根因很小。那一帧的脚本把时间线注册写在了 root 解析之后:

var root = findRoot();
if (!root) return;                       // 提前退出,注册被一并跳过

window.__timelines["04-two-kinds-of-slow"] = tl;

check 用单浏览器单线程,findRoot 成功,注册正常。render 是 5 个 worker 并行,撞上竞态就失败,整帧停在作者写的初始状态:文字可见(CSS 默认可见),动效和珊瑚色全都没有。

改法是把注册挪到最前面,并且无条件执行:

window.__timelines["04-two-kinds-of-slow"] = tl;   // 先注册
var root = findRoot() || document;                 // 找不到也不退出

重渲之后这条警告消失,setup 阶段从 50.7 秒降到 5.8 秒,珊瑚色在正确的时间点出现了。

第三层是质量失败。输出符合全部规格,观众不接受。

04 旁白这条,是省下来的钱

工具链有两条配音路线。云端 TTS 音质自然,需要注册账号。本地跑 Kokoro,82M 参数的开源模型,完全离线免费。

这次为了不注册账号,选了后者。中文音色只有一个可选:

$ npx hyperframes tts --list
  ID           Name       Language  Lang code  Gender
  zf_xiaobei   Xiaobei    zh        zh        female

合成是成功的:

· tts: kokoro · voice zf_xiaobei · 6 line(s)
  voice 01: assets/voice/01.wav (5.056s, 0 words)
  total voice duration: 46.827s

0 words 这个字段还埋着第二个问题。离线 Kokoro 不产出逐词时间戳,字幕拿不到实测时间。这次的做法是按每句实际时长加字数比例,推算出短语级的时间戳,一共 6 组 15 个短语。短语级够用,逐字高亮做不到。

实际的做法是把每句旁白按中文标点切成短语,每句按字数和标点停顿分配权重,再归一化到该句的真实时长。六句一共切出 15 个短语,全片 46.827 秒。中文语音的时长基本和音节数成正比,短语级字幕的误差通常在毫秒级,观众看不出来。但它是推算值,不是实测值,这一点必须写进交付说明。

音质的账要算清楚。82M 参数的开源中文模型,吐字不清、听感生硬,这是它的能力边界,调参救不回来。用离线免费换音质,是这次最不该省的一笔。

05 已实现与未实现

先说可靠的那部分。分镜、线框、动效、排版、字幕、转场这一整条创作链路是稳的。六帧的布局全部按人工确认过的线框执行,没有自作主张改排版;动效按旁白节奏揭示,没有出现常见的「开头全塞满然后冻结」;竖屏安全区约束被每一帧严格执行,字幕没有压住任何正文。这一段不需要返工。

已实现的部分:

项目 结果
分镜与旁白稿 6 帧,概念型结构,46.8 秒
线框审查 6 帧静帧全部经人工确认后才开建
竖屏排版 1080×1920,内容全部收在字幕安全区上方
动效 每帧按旁白节奏揭示,长尾曲线,无弹跳
字幕 6 组,样式取自 code-editorial 字幕皮肤
音效 11 个,全部来自内置库
转场 3 个 push-slide 加 1 个 crossfade,跨轨校验通过
自动检查 lint 0/0,check 通过
外网解耦 GSAP 本地化,渲染不再依赖 CDN

未实现的部分:

项目 原因
BGM 与节拍绑定 huggingface.co 不可达,镜像 4.3 KB/s,权重 2.3 GB
逐词字幕 离线 Kokoro 无时间戳,whisper-cpp 未安装
音质可用的旁白 内置唯一中文音色能力不足
原文 03 节的限定条件与 04 节的判断标准 45 秒装不下四节,压缩成各一句,取舍在当初的选项里已确认

06 下次怎么改

按代价从小到大排。

最便宜的一条,改分发约束。给 worker 的 prompt 里加一条硬规定:时间线必须无条件注册,不许写在任何可能提前 return 的判断之后。这次的静默失败,根源是一条没写进 prompt 的约定。

第二条,装 whisper-cpp。有了它才有实测逐词时间戳,字幕从推算变成精确。Windows 下要 cmake 和编译环境,一次性的活。

第三条,配音换云端。这一条对成品质量的提升最大。可以只在最终交付那一次用云端,迭代阶段继续用离线。

第四条,BGM。网络通了就走检索,网络不通就直接给一个 mp3,用本地脚本离线分析节拍网格,一样能把计数器的爬升绑上去。

最后一条不花钱但最重要:渲染完成后对成片抽帧做像素级核验,别只信检查报告。这次零警告的 check 完全没提帧 04 的问题,是抽帧扫描颜色才发现的。

结语

检查报告证明的是代码符合规则,画面是不是对的,得自己看。

这次出的片子规格全对,听感不合格,有一帧还是错的。作为一次生成它是完整的,作为一次交付它是失败的。

如果你也在本地跑类似的视频生成流程,想问一句:上一次拿到零警告的检查报告之后,有没有真的从成片里抽一帧出来看?

本文话题 #HyperFrames #视频生成 #AI视频 #工程实践 #质量验收 #失败复盘 #TTS #字幕