Tutorial on rendering video from code with a seek(t) pipeline

Our note

A nine-minute Chinese tutorial on making video with a language model, covering a seek(t) frame model, spring easing, frame versus time driving and deterministic render rules; the creator says the script, animation, music and edit were AI-made, with a cloned voice from VoxCPM2.

The creator’s post

这几天 Opus 5.5 做的视频刷屏，我也用它做了一条教程：怎么用大语言模型做视频。 写稿、动画、配音、配乐、剪辑，全是 AI 做的。没有一帧来自视频模型，也没有一刀是人工剪的。我只做了两件事：提意见，拍板。 整条产线已经开源，链接在评论区。 画面不是「生成」的，是「算」出来的。Claude 写的是代码：每一帧只由时间 t 决定，浏览器按 t 把画面画出来，无头 Chrome 八个进程并行逐帧拍摄，FFmpeg 拼成视频。 同一份源码，任何时候重新渲染，每一帧都逐像素一致。 配音是时钟：每个镜头多长，由实际配音决定；镜头里的每个动作都挂在旁白的某个短语上，换了配音，画面自动跟着伸缩。 声音也是代码：配乐和音效用 numpy 合成，音效挂在画面动作的那一帧上。 我先把公开的教程和开源 skills 让 Claude 学了一遍，整理成一套可复现、可交付的 pipeline，再和 Claude 一轮轮迭代。我没写代码，也没动剪辑软件，做的事情就是看片、提意见、拍板。 模型听不到声音，也看不了连续播放，所以每次出片前跑一遍自动质检：空白帧、静止段、跨进程重放是否逐像素一致、声画同步、响度、背景声有没有盖过配音、物理校验。全部通过才交给我看。 最后的配音试过火山引擎，音色始终不满意，最后用开源的 VoxCPM2 克隆了我自己的声音。 最后开源了渲染引擎、并行渲染器、配音与校对、配乐与混音、卡拉 OK 字幕、出厂质检，项目规矩文件，一个可以直接装进 Claude Code 的 make-video 技能，还有这次踩过的 20 个坑和修法。 终于理解了梁文峰之前在 DeepSeek 内部讲话了，AGI 的主线还是语言模型，智能的上限目前还在语言模型上 Scaling。代码能力突破之后，语言就能变成画面、运动和物理。语言模型，也可以是世界模型。