CVPR2026视频《模型》趋势梳理：不止生{成下}一帧，更要理解下一步

视频智能正从画面生成走向运动控制、动态建模、信号理解与真实场景应用。

作者丨郑佳美

编辑丨马晓宁

过去，视频生成更多是在解决 " 像不像 " 的问题：人物是否清晰，画面是否流畅，风格是否统一。但随着模型能力提升，视频真正困难的部分开始显现出来——它不是一组漂亮帧的连续播放，而是一个由时间、空间、运动、相机、光照和物理信号共同构成的动态系统。

只要模型无法理解这些隐含结构，它生成的视频就可能看似逼真，却在运动逻辑、视角一致性或真实场景适应上露出破绽。因此，视频智能正在进入一个更深的阶段：不只是生成画面，而是理解画面为什么会这样变化。

从运动轨迹编辑、3D 结构约束、可迭代文生视频，到自适应视频 token、长期运动表征、频闪去除、热成像分离和地球观测模型，研究者实际上都在处理同一个底层问题：如何让模型把视频从 " 像素序列 " 理解为 " 动态世界 "。

这也是今年 CVPR 相关方向中一个值得注意的信号——视频模型的竞争重心，正在从视觉质量转向对时间、空间和物理规律的建模能力。

换句话说，视频 AI 的下一步，不是单纯把视频生成得更长、更清楚、更炫，而是让模型知道运动从哪里来、结构为什么稳定、信号如何形成，以及复杂场景中的变化如何被预测和控制。

当这些能力逐渐补齐，视频模型才可能真正从内容生成工具，走向能够理解、编辑和推演现实世界的动态智能系统。

01

从改画面到改运动

视频生成和视频编辑正在从 " 画面是否好看 "，走向 " 运动是否可控 "。谷歌和石溪大学共同提出的《MotionV2V: Editing Motion in a Video》研究的正是如何不只修改视频风格或局部外观，而是直接编辑视频里的 " 运动 "。

比如让人物换方向、让物体晚一点出现，或在保留场景内容的同时改变镜头运动。现有方法一旦涉及物体运动、相机轨迹或时间顺序变化，就很难保留原视频后续帧中已有的内容。

MotionV2V 的核心思路是把视频运动表示成稀疏轨迹点，并让用户直接编辑这些轨迹。系统先从输入视频中提取物体或场景点的原始运动轨迹，用户再指定目标运动，模型根据 " 原始轨迹 " 和 " 目标轨迹 " 之间的差异生成编辑后的视频。论文把这种差异称为 motion edit，并用它指导视频扩散模型，在尽量保留原视频内容的同时，让目标物体或相机按新的方式运动。

论文地址：https://arxiv.org/pdf/2511.20640v1

它的亮点在于，MotionV2V 不是从单张图片重新生成视频，而是真正以完整输入视频为条件进行 video-to-video motion editing。因此它可以利用视频中任意时间点的信息，处理首帧里还没出现的物体，也能支持物体运动、相机运动、时间控制和连续多次编辑。

作者还构建了 motion counterfactuals，即内容相同但运动不同的视频对，用来微调 motion-conditioned video diffusion 架构。从论文对比来看，MotionV2V 在内容保留、运动控制和整体编辑质量上优于已有方法，用户研究中也获得约 70% 的偏好率。整体来看，这篇论文把视频编辑从 " 改外观 " 推进到 " 改运动 "。

当运动编辑涉及相机、物体和非刚性形变时，仅靠 2D 运动线索往往不够。Adobe 和马里兰大学帕克分校共同提出的《Generative Video Motion Editing with 3D Point Tracks》进一步使用 3D point tracks 作为统一的运动控制表示，同时改变视频里的相机运动和物体运动。

系统会先估计输入视频中的相机参数和 3D 点轨迹，用户编辑相机运动或物体轨迹后，再由 video-to-video 生成模型合成新视频。

论文地址：https://arxiv.org/pdf/2512.02015v1

相比 2D 轨迹，3D 轨迹提供了深度信息，可以帮助模型判断遮挡关系、前后层次和真实空间运动。论文还设计了 3D track conditioner，通过 cross-attention 从输入视频中采样视觉上下文，并把这些信息对齐到目标帧空间中，让模型在改变运动的同时保持画面连贯。

由于真实世界中很难获得成对训练数据，作者采用两阶段训练：先用合成数据学习基础运动控制，再用真实单目视频构造非连续片段对，缩小合成到真实的差距。整体来看，这篇论文把视频运动编辑推进到更 3D-aware 的阶段，也支持运动迁移、非刚性变形、物体移除和复制等效果。

如果输入只有一张物体图像，模型如何在相机绕物体旋转时生成稳定、真实、结构一致的视频？澳大利亚国立大学和亚马逊共同提出的《Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors》研究的就是从单张物体图像生成 orbital video。现有视频生成方法在大角度视角变化时缺少可靠像素对应关系，容易生成结构扭曲或不合理的物体形状。雷峰网

论文地址：https://arxiv.org/pdf/2604.12309

这篇论文的核心思路是引入 3D foundation model 中学到的形状先验，用它辅助视频扩散模型生成更稳定的环绕视频。模型从单张输入图像中提取两类 3D latent features：全局 latent vector 提供整体结构指导，体积特征投影得到的 latent images 提供随视角变化的几何细节。

相比深度图或法线图，这些 3D latent features 能表达更完整的物体形状，也避免显式提取 mesh 的额外开销。作者还设计了 multi-scale 3D adapter，把不同尺度的 3D 特征接入基础视频模型，从而提升生成视频的真实感、物体形状合理性和多视角一致性。

谷歌和新加坡国立大学共同提出的《VISTA: A Test-Time Self-Improving Video Generation Agent》则把重点放在生成流程本身：当用户给出文本想法后，系统能不能反复评估、反思和修改，直到生成更符合意图的视频。

它研究的是 test-time self-improvement，也就是不重新训练视频生成模型，而是在推理阶段通过反复评价和改写 prompt 来提升结果。

VISTA 会先把用户想法拆成带有时间结构的场景计划，包括时长、角色、动作、对白、环境、相机、声音和情绪等要素；生成多个候选视频后，通过 pairwise tournament 选出当前最好结果；随后由视觉、音频和上下文评审智能体提出意见，最后由 reasoning agent 综合反馈并改写 prompt，进入下一轮生成。

论文地址：https://arxiv.org/pdf/2510.15831

它的亮点在于，VISTA 不是只优化某个指标，而是把视频规划、候选筛选、多维度评价和提示词重写串成自动闭环。论文中提到，VISTA 在自动指标下相较先进基线最高达到 60% 的 pairwise win rate，在人工评测中也获得 66.4% 的偏好率。整体来看，它把文生视频从 " 一次性生成 " 推进到 " 生成—评价—反思—再生成 "。

02

让模型先学会「怎么动」

要让视频模型更好地生成和编辑内容，底层表示也需要更高效。上海交通大学、香港中文大学多媒体实验室、上海人工智能实验室 OpenGVLab、同济大学、清华大学共同提出的《AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space》研究的是视频 tokenization 问题，也就是如何把连续视频帧压缩成更适合自回归模型处理的离散 token。

论文地址：https://arxiv.org/pdf/2505.17011v2

AdapTok 的核心思路是让视频 token 分配变得自适应。它不是给每个时间段分配同样多的 token，而是根据视频内容、时间变化和整体预算，动态决定哪里多用 token、哪里少用 token。

它使用 1D latent token space 表示视频，并引入 temporal causality，让前面帧的编码和解码不依赖未来帧，更适合流式处理和自回归生成；同时通过 block-wise masking、block causal scorer 和 IPAL 策略完成自适应分配。

这样一来，运动明显、场景变化大的片段会获得更多 token，静态或冗余片段则使用更少 token。在 UCF-101 和 Kinetics-600 任务中，AdapTok 在不同 token 预算下都能提升重建质量和生成表现。

AdapTok 解决的是视频如何被高效表示，而 CompVis @ LMU、MCML 和苹果共同提出的《Learning Long-term Motion Embeddings for Efficient Kinematics Generation》进一步追问：如果只是理解未来怎么动，是否一定要完整生成像素视频。论文转向学习一种更紧凑的 long-term motion embedding，用来表示场景中的长期运动规律。

它从大规模 tracker 模型得到的轨迹数据中学习压缩运动空间，把稀疏轨迹和起始帧编码成 latent motion grid，并可在任意空间查询点上重建密集运动；随后在这个运动 latent 空间里训练 conditional flow-matching 模型，根据文本任务描述或 spatial pokes 生成长期运动。这种表示可达到 64 倍时间压缩，也就是说模型不用逐帧生成视频，就能在更抽象的运动空间中推断未来动态。

论文地址：https://arxiv.org/pdf/2604.11737

这篇论文的亮点在于，它把 " 生成视频 " 拆成了更基础的 " 生成运动 "。这种 kinematics-first 方式更适合探索多个可能未来，也更适合机器人规划、轨迹预测和长期动态建模。

在开放域互联网视频和 LIBERO 机器人基准上，它的运动生成质量、条件遵循能力和效率都优于专门轨迹预测方法以及 Wan、Veo 3 等视频模型基线。整体来看，AI 不一定要先