单个tokenizer胜任图像视频理解生成！南大&腾讯混元HYDRA打通多模态统一难题

2026-07-12 19:49

长期以来，原生多模态模型一直存在一个天生短板。

传统的原生多模态模型如 Janus，BAGEL，一般使用两个视觉 Encoder 来分别处理理解和生成，看似分工明确，实则埋下了致命 BUG。

理解模型的 encoder（常用 SigLIP 2）学到的是语义特征，生成模型的 encoder（常用 VAE）学到的是重建特征，两个 encoder 给出的 feature 并不在同一个空间里，模型需要额外学习它们之间的映射。

不仅白白浪费算力，模型的效果上限也被死死锁死。

南大王利民团队 & 腾讯混元的 HYDRA 系列（HYDRA，HYDRA-X）工作挑战了这个惯例，用一个基于 ViT 的统一视觉 Tokenizer，帮助原生多模态模型更好地"看懂"和"创作"。

具体而言，HYDRA 做的事情是：

训练一个基于 ViT 的 Unified Tokenizer，使其同时具有理解和生成的能力，进而同时作为理解和生成的 Autoencoder，来支持原生多模态模型（Unified Multimodal Models）的训练。

HYDRA-X 的 Tokenizer 进一步把这个思想拓展到了视频的理解和生成。

HYDRA-X 原生多模态模型现已支持：图像视频理解，图像视频生成，指令引导图像编辑。

传统原生多模态模型 Tokenizer 设计范式：解耦 Encoder 是主流，统一 Encoder 是趋势

传统原生多模态模型 Tokenizer 设计范式一般可以分为下面几种。

下图（a）是把理解 Encoder 和生成 Encoder 做解耦，比如 BAGEL。这样做的问题在于理解和生成的视觉特征不是一致的。

下图（b）的做法是把理解 Encoder 和生成 Encoder 进行串联，比如 Show-o2。这样做的问题在于信息的过渡太快，用于理解的表征和用于生成的表征没法直接对齐。

下图（c）的做法是直接使用共享的表征编码器，比如 UniTok。这样做的问题在于这个编码器很难学，因为生成所需要的高频信号与理解所需的语义是有矛盾的。

本文的 HYDRA Tokenizer 希望为 UMM 设计一种Unified Tokenizer，它既能够很好地完成重建任务，也具有丰富的语义来赋能生成任务。如下图（d）所示是 HYDRA Tokenizer 的设计思路。

△常见原生多模态框架的 Tokenizer 方案

HYDRA Tokenizer 基于 ViT 架构。它通过 Gen-ViT 和一个 Decoder 完成 VAE 的任务，即提取 latent 特征以及后续的重建。latent 特征会再通过 Sem-ViT 得到带有语义的高维特征。在 Gen-ViT 和 Sem-ViT 之间，有一个 Generation-Semantic Bottleneck（GSB）模块来投影到低维 latent，再投影回高维特征。

HYDRA Tokenizer 训练目标

如下图所示是 HYDRA Tokenizer 的训练方法。

重建损失：Decoder 包含 Flow Matching 去噪。因此回归损失包含 Flow Matching Loss。此外，还有 LPIPS Loss 和 GAN Loss。

蒸馏损失：蒸馏损失是 Gen-ViT 以及 Sem-ViT 的特征与 Vision Encoder 对齐，作者这里用的冻结参数的 Vision Encoder 是 InternViT。

回归损失：回归损失包括 latent space 的 KL 损失，以及 GSB 模块里面降维之前的特征与升维之后特征的对齐。

总的训练目标为重建损失，蒸馏损失，回归损失的加权和。

用统一的 Tokenizer 训练原生多模态模型

HYDRA UMM 遵循了大多数 UMM 的训练方法，使用 Next-token Prediction 建模文本，使用 Flow Matching 训练生成。

注意 HYDRA UMM 的加噪的视觉 token 使用的是 GSB 升维之后的视觉特征。

Gen-ViT 和 Sem-ViT 的配置

作者首先对 latent 的 channel 数进行了消融。结果如下图所示。C=64 是 sweet spot。

然后，作者对层数的分配也做了消融。结果显示 12+12 在 PSNR，Avg QA，以及 GenEval 上都最佳，也是一个 sweet spot。

HYDRA Tokenizer 的重建效果

作者还评测了 HYDRA Tokenizer 的重建性能，结果如下图所示。

从历史上看，ViT-based Tokenizer 的重建能力是被认为不如常规 CNN-based Tokenizer 的。但是下图的结果展示了 ViT-based Tokenizer 的重建也可以做得很好。

多模态理解评测

如下图所示是多模态理解任务的结果。在 1.5B 这个量级，HYDRA 的平均分是 63.1，大幅超过了基线 Show-o2 的 53.2。缩放到 7B 以后，HYDRA 继续领跑，在 MMStar 和 SEED 这种复杂推理任务上超过 Show-o2。

多模态生成评测

如下图所示是生成的结果。在 1.5B 规模，HYDRA 的 GenEval 和 DPG-Bench 大幅超越了 Show-o2。在 7B 规模，HYDRA 超过了 Ming-UniVision 和 FLUX.1 [ Dev ] 。

HYDRA 思想适配视频任务

HYDRA-X 沿用了 HYDRA 的技术路线，即使用单个基于 ViT 的 Unified Tokenizer来作为理解和生成的 Encoder。不同的是，HYDRA-X Tokenizer 在图像理解和生成的基础上，进一步支持了视频的理解和生成。

HYDRA-X 聚焦的是把这种 Unified Tokenizer 从 Image 适配到 Video，需要面临的两个问题：

问题 1：把时空重建能力注入到 ViT 里面。

问题 2：把图像和视频的语义嵌入到共享的 latent 里面。

HYDRA-X 的 Tokenizer（Gen-ViT 和 Sem-ViT）采用 SigLIP 2 初始化。

问题 1：给 ViT 注入时空重建能力

之前的 ViT-based Tokenizer 有两个设计共同点：

对所有帧使用 full spatialtemporal attention。（随 clip 长度带来平方复杂度）

temporal 维度使用 1 步 patchify 压缩。（压缩过程比较激进，损失细粒度时序信息）

针对这些设计和问题 1，HYDRA-X 给出了两个在 tokenizer 上的改进：

其一，不需要用很多 attention，2-frame turbelet attention的重建效果最好。

其二，逐步 patchify 胜于一步 patchify，把时间维度 patchify 过程从单步 4 倍压缩改为两步 2 倍压缩提升重建效果。这说明时间维度受益于逐步压缩。

下图是不同的时空重建设计方案。

下图是不同设置下的重建结果对比。

问题 2：时空语义蒸馏

HYDRA 给 Gen-ViT 和 Sem-ViT 都用了语义蒸馏，对齐预训练的 Image Teacher（InternViT）。

HYDRA-X 用类似的办法，把 Sem-ViT 的输出与 Image Teacher（SigLIP2）和 Video Teacher（InternVideo-Next）对齐。

对于 Image 来讲对齐比较容易；但是对于 Video 而言，压缩之后只剩下 1+T/4 帧，没法与 Teacher Video Encoder 直接对齐。

HYDRA-X 的方案是引入一个轻量级的 Decompressor，如下图所示。Decompressor 是一个很小的 ViT，将 temporal 维度拉回到未压缩的维度。这样一来，就可以用 Image Teacher 和 Video Teacher 分别对齐了。

Decompressor 只用在 Tokenizer 预训练阶段；后续丢弃。换句话说，LLM 喂入的仍是压缩后的 Sem-ViT 的输出。

如下图所示，作者进行了一些消融实验。结论是：

语义蒸馏是很有必要的。

Decompressor 使得 HYDRA-X Tokenizer 可以与 Video Teacher 进行对齐，Video Understanding 性能最佳。

给 Sem-ViT 换 bidirectional attention 会损失所有测试的性能。

通过 Decompressor 同时进行与 Image Teacher 和 Video Teacher 的对齐，使得 latent 有更显式的时空语义结构，进而同时改善理解和生成。

HYDRA-X 使用一个共享的 Tokenizer 做 5 个任务：图像理解，图像生成，视频理解，视频生成，图像编辑。与 HYDRA UMM 一样，HYDRA-X UMM 也使用 Next-token Prediction 建模文本，使用 Flow Matching 建模视觉信息，即图像和视频。

图像编辑：在 Tokenization 阶段做交互

值得一提的是，对于图像编辑任务，HYDRA-X 并不是把 source image 和 target image 分别独立过一下 Tokenizer。作者认为这种做法会使得二者在 Tokenization 过程中缺乏交互。

HYDRA-X 的做法是：使得 source image 和 target image在 Tokenization 阶段就进行交互。具体做法是：Gen-ViT 还是独立地编码各自的 image。

到了 Sem-ViT 之后，开始交互，使用 tubulet causal mask，如下图所示。

如下图所示是上述做法的消融实验结果。这里主要想对比的是在图像编辑中，editing pair 是分别进行编码，还是在 Sem-ViT 中，以 leng-2 clip 的形式，通过 tubelet causal attention，整合在一起。在 Tokenization 过程中进行交互的做法对于 ImgEdit 和 Recon-PSNR 都有帮助。