GEAR: Guided End-to-End AutoRegression for Image Synthesis
Abstractの概要
本論文は、生成モデルの学習前にトークナイザを固定するのではなく、ベクトル量子化（VQ）トークナイザと自己回帰型画像生成モデルを結合学習させる手法「GEAR」を提案しています。最大の課題は、離散的なVQインデックスが自己回帰モデルからトークナイザへの勾配伝播を阻害してしまうことであり、単純なStraight-Through（直進）アプローチでは不安定になり学習が崩壊する可能性があると報告しています。GEARは、標準的な次トークン予測のためのハードブランチと、表現のアライメント信号をトークナイザにのみ送り返す微分可能なソフトブランチという、2つの読み出し（デュアルリードアウト）によってこの問題に対処しています。クラス条件付きImageNetおよびテキストからの画像生成モデルでの実験において、収束の高速化、生成品質の向上、そして複数の量子化器への適応性が示されています。
新規性
最大の貢献は、微分不可能なトークン割り当てを介して予測損失の勾配を送ることを回避する、離散VQ自己回帰生成のためのEnd-to-End学習スキームの提案です。ハードとソフトの2つの割り当て設計により、表現のアライメントをガイダンスチャネルとして使用し、意味的アライメントの負担をトークナイザから自己回帰モデルへと移行させています。
成果
ImageNetにおいて、GEARはLlamaGen-REPAと比較してgFIDの収束を最大10倍高速化し、B/L/XLの各モデルスケールにおいて最終的な生成指標を改善したと報告されています。GPICでのテキストからの画像生成実験でも、同じ学習予算でベースラインを一貫して上回り、アブレーションにおいてはStraight-Throughのバリアントが崩壊する一方で、VQVAE、LFQ、IBQの各トークナイザ全体での性能向上が確認されました。
論文の注目点
- GEARは、次トークン予測のためのハードブランチと、トークナイザをガイドする微分可能なソフトブランチを使用することで、VQトークナイザと自己回帰生成モデルを結合学習させる。
- 本手法により、クラス条件付きImageNetでの収束と最終的な生成品質が向上し、テキストからの画像生成実験においても一貫した性能向上が示されている。
- 表現分析によれば、トークナイザのDINOv2らしさが低下する一方で、自己回帰モデルのパッチレベルでのアライメントが向上しており、End-to-Endのガイダンスが主に生成モデル内の局所的な予測構造を改善することが示唆されている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.32039v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.32039v1
- Hugging Face Papers: https://huggingface.co/papers/2606.32039
- GitHub: https://github.com/Tencent-Hunyuan/GEAR
- Project: https://linb203.github.io/gear