論文の概要: Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction
- arxiv url: http://arxiv.org/abs/2608.12209v1
- Date: Wed, 12 Aug 2026 16:03:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.632787
- Title: Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction
- Title（参考訳）: 補助的スーパービジョンとしての生成:非結合埋め込み予測によるゼロ推論における視覚的理解の促進
- Abstract要約: 生成誘導学習フレームワークは、視覚生成を表現学習の補助的指導として再解釈する。
ガスは集合的マルチモーダル理解を改善し、その最も確実な利得は知覚と空間的理解である。
- 参考スコア（独自算出の注目度）: 11.257989394325671
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Multimodal Large Language Models (MLLMs) have achieved remarkable progress, visual understanding and generation are typically treated as divergent objectives. Existing unified frameworks often rely on discrete visual tokenization or diffusion objectives whose generative targets differ from the continuous representations consumed by visual understanding models, making direct transfer to enhance existing pretrained MLLMs non-trivial. In this work, we present GAS, a generation-guided training framework that reinterprets visual generation as auxiliary supervision for representation learning. Concretely, GAS adapts Next Embedding Prediction (NEP) as a cross-modal generation paradigm within a decoupled Mixture-of-Transformers (MoT) architecture. By maintaining a shared lower trunk and parallel upper layers, GAS lets generation losses enrich the shared visual pathway with finer spatial precision and stronger visual retention while shielding the upper understanding layers from direct generation gradients. To maximize this synergy, we further construct highly correlated generation tasks that demand deep cognitive grounding rather than generic synthesis alone. Across model scales and training stages, GAS improves aggregate multimodal understanding, with its most reliable gains on perception and spatial comprehension. Crucially, because the auxiliary generation branch is discarded after training, these gains incur zero inference overhead. Extensive controlled comparisons and representation-level analyses further clarify when and why generation-guided training benefits understanding, and demonstrate the feasibility of generation-guided training as a practical route to stronger multimodal understanding.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は目覚ましい進歩を遂げているが、視覚的理解と生成は通常、異なる目的として扱われる。
既存の統合されたフレームワークは、しばしば視覚的理解モデルによって消費される連続的な表現とは異なる、離散的な視覚的トークン化や拡散目標に依存し、既存の事前訓練されたMLLMを非自明に拡張するために直接転送する。
本稿では,表現学習の補助的指導として視覚生成を再解釈する世代誘導学習フレームワークであるGASを紹介する。
具体的には、GASは、分離されたMixture-of-Transformers (MoT)アーキテクチャにおいて、Next Embedding Prediction (NEP) をクロスモーダル生成パラダイムとして適用する。
共有下幹と並列上層を維持することにより、GASは生成損失を発生勾配から上層を保護しつつ、より微細な空間精度とより強力な視覚保持で共有視経路を拡張できる。
このシナジーを最大化するために、総合的な合成だけでは無く、深い認知基盤を必要とする非常に相関性の高い生成タスクを構築した。
モデルスケールとトレーニングステージ全体にわたって、GASは、認識と空間的理解に最も信頼できる利得で、集合的マルチモーダル理解を改善している。
重要なことは、補助生成ブランチはトレーニング後に破棄されるため、これらはゼロ推論オーバーヘッドを発生させる。
広範に制御された比較と表現レベルの分析により、世代誘導訓練がより強力なマルチモーダル理解への実践的経路としての世代誘導訓練の実現可能性を示す。
関連論文リスト
- Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。
訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する
本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
論文 参考訳（メタデータ） (2026-05-18T17:46:46Z) - Steering Visual Generation in Unified Multimodal Models with Understanding Supervision [42.765106450407814]
統一マルチモーダルモデルは、理解と生成のギャップを埋めるために考えられている。
本稿では, 個別のタスクとしてだけでなく, 生成表現を制御するための直接監督信号として, より軽量なフレームワークである「理解指向ポストトレーニング(UNO)」を提案する。
論文 参考訳（メタデータ） (2026-05-07T07:20:04Z) - UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。
提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
論文 参考訳（メタデータ） (2026-03-03T18:36:16Z) - Understanding Degradation with Vision Language Model [56.09241449206817]
視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。
本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。
また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
論文 参考訳（メタデータ） (2026-02-04T13:51:15Z) - Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。
本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
論文 参考訳（メタデータ） (2025-10-02T00:40:02Z) - FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。
ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。
本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
論文 参考訳（メタデータ） (2025-05-26T15:46:53Z) - Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。
HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
論文 参考訳（メタデータ） (2025-03-27T20:50:38Z) - CAFe: Unifying Representation and Generation with Contrastive-Autoregressive Finetuning [24.981279071712173]
本稿では,LVLMを表現タスクと生成タスクの両方に拡張する,対照的に自己回帰的な微調整フレームワークであるCAFeを紹介する。
提案手法は,従来のタスクを統一し,マルチモーダル検索とマルチモーダル生成ベンチマークの両面で最先端の結果を得る。
論文 参考訳（メタデータ） (2025-03-25T17:57:17Z) - VARGPT: Unified Understanding and Generation in a Visual Autoregressive Multimodal Large Language Model [38.61292051733335]
VARGPTは,単一の自己回帰フレームワーク内で視覚的理解と生成を統一する,新しいマルチモーダル大規模言語モデルである。
VarGPTは視覚理解のための次世代予測パラダイムと、視覚自己回帰生成のための次世代予測パラダイムを採用している。
特に、VARGPTは自己回帰的視覚生成と命令-画像合成の能力を自然にサポートし、視覚的理解と生成の両タスクにおいてその汎用性を示す。
論文 参考訳（メタデータ） (2025-01-21T17:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。