本溪市网站建设_网站建设公司_轮播图_seo优化

快速了解部分

基础信息（英文）：

1.题目: SemanticGen: Video Generation in Semantic Space
2.时间: 2025.12
3.机构: Zhejiang University, Kuaishou Technology (Kling Team), CUHK, DLUT, HUST
4.3个英文关键词: Video Generation, Semantic Space, Diffusion Model

1句话通俗总结本文干了什么事情

本文提出了一种名为SemanticGen的新方法，通过先在“语义空间”规划视频的大致结构，再在“像素空间”填充细节，从而实现更高效、更连贯的长视频生成。

研究痛点：现有研究不足 / 要解决的具体问题

1. 收敛慢且成本高：现有的视频生成模型直接在像素或VAE隐空间操作，计算量巨大，训练收敛非常慢。
2. 长视频生成难：生成长视频时，双向注意力机制计算复杂度随长度平方级增长，容易导致画面漂移或质量下降。

核心方法：关键技术、模型或研究设计（简要）

SemanticGen采用“两阶段”生成策略：首先利用预训练的视觉模型提取视频的高阶语义特征（全局规划），然后训练扩散模型先生成这些语义特征，最后将其映射回VAE隐空间生成最终视频。

深入了解部分

相比前人创新在哪里

1. 生成空间的转变：不同于传统方法直接在VAE隐空间生成，SemanticGen选择在高阶语义空间进行初始建模。
2. 语义压缩技术：提出使用轻量级MLP对语义特征进行压缩和高斯分布正则化，解决了直接在高维语义空间采样困难和收敛慢的问题。
3. 长视频扩展性：通过在高度压缩的语义空间使用全注意力机制维持全局一致性，在VAE空间使用移窗注意力（Swin Attention）降低计算复杂度。

解决方法/算法的通俗解释

想象你要画一幅复杂的画。传统方法是一笔一笔地画（像素级）。SemanticGen的做法是：

1. 第一步（打草稿）：先画出简单的火柴人和框框（语义空间），确定人物位置和动作走向。
2. 第二步（描边填色）：根据草稿，把火柴人变成有血有肉的人（VAE空间），填充细节、纹理和光影。
   这种方法不仅画得更快（收敛快），而且不容易把人画变形（长视频一致性好）。

解决方法的具体做法

1. 语义编码：使用Qwen-2.5-VL的视觉塔作为语义编码器，提取视频的时空特征。
2. 特征压缩：通过一个可学习的MLP将高维语义特征压缩为低维向量，并使其符合高斯分布。
3. 两阶段训练：
   • 阶段一：微调视频扩散模型，使其能根据压缩后的语义特征生成VAE隐变量。
   • 阶段二：训练语义生成器，学习从文本生成对应的压缩语义特征。
4. 推理合成：先生成语义特征，再将其注入到视频生成模型中解码为视频。

基于前人的哪些方法

1. 基础架构：基于DiT（Diffusion Transformers）和Rectified Flow（直化流）框架。
2. 语义编码：利用了Qwen-2.5-VL作为预训练的语义提取器。
3. 注意力机制：在长视频生成中引入了Swin Transformer的移窗注意力机制。

实验设置、数据、评估方式、结论

1. 数据：内部文本视频对数据集（短片），以及由电影/电视剧剪辑的60秒长片段（长视频）。
2. 评估：使用VBench（短）和VBench-Long（长）基准，以及衡量漂移的△FID指标。
3. 结论：
   • 在短片生成中，效果与SOTA模型（如Wan2.1, HunyuanVideo）相当。
   • 在长视频生成中，显著优于基线模型（如SkyReels-V2, Self-Forcing），有效缓解了画面漂移问题。
   • 语义空间压缩（MLP）能显著加速模型收敛。

提到的同类工作

1. TokensGen：同样采用两阶段范式，但它是对VAE隐变量进行压缩，而非语义特征。
2. REPA：通过将扩散模型隐藏状态与语义特征对其来加速收敛。
3. RCG：提出先建模自监督表示再映射到图像分布，但主要用于无条件图像生成。

和本文相关性最高的3个文献

1. TokensGen(Ref )：最接近的方法，同样是两阶段，但对比证明了生成语义空间比生成压缩VAE空间收敛更快。
2. Qwen2.5-VL(Ref )：本文所依赖的核心语义编码器，用于提取视频的时空语义特征。
3. Self-Forcing(Ref )：作为长视频生成的强基线模型，用于对比展示SemanticGen在解决长视频漂移方面的优势。

我的

主要是解决text to video任务的问题。主要想法就是用semantic feature来作为condition，相当于把语义抽象出来作为condition。相比之前text通过旁路cross attention的方式注入，这种更强调语义，从而如果语义一致，那么长视频一直根据语义生成的话就更一致了。