論文の概要: What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.23987v1
• Date: Wed, 14 Oct 2026 13:20:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:42:01.876783
• Title: What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
• Title（参考訳）: 統一マルチモーダルモデルにおける細粒度理解のロック解除
• Abstract要約: 統一マルチモーダルモデル(UMM)は、理解に相補的な豊富な視覚情報を保持する生成経路を通じて、新たな機会を提供する。 本稿では,GAFUを提案する。GAFUは学習後の学習フレームワークで,ネイティブな世代情報を利用して詳細な理解を行う。 実験の結果、GAFUは様々な視覚的理解タスクやUMMアーキテクチャで同じデータに基づいて訓練されたSFTベースラインを一貫して上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 31.309327579414543
• License:
• Abstract: Fine-grained visual understanding requires distinguishing subtle differences in local attributes and spatial relations, yet remains challenging for existing vision-language models. Unified multimodal models (UMMs) offer a new opportunity through generation pathways that preserve rich visual information complementary to understanding. However, existing generation-assisted understanding methods mainly rely on generative supervision or explicit generation and have not systematically explored direct use of native generation-side representations. To address this gap, we systematically analyze what generation-side representations offer for fine-grained understanding, finding that they are more sensitive to fine-grained semantic changes, capture task-relevant changes missed by understanding-side representations, and depend on correct spatial organization for this advantage. Guided by these findings, we design GAFU, a post-training framework that unlocks native generation-side information for fine-grained understanding. It compresses generation-side visual representations into compact \(G\) tokens that preserve fine-grained visual details, enabling task-conditioned retrieval by the understanding pathway. Experiments show that GAFU consistently outperforms SFT baselines trained on the same data across diverse visual understanding tasks and UMM architectures, with maximum relative improvements of 20.00\%, 17.94\%, and 8.62\% on VStar-Bench, OmniSpatial, and VSR-Bench, respectively. Overall, GAFU converts complementary information from the generation pathway into gains in fine-grained visual understanding, providing an effective path toward synergy between generation and understanding in UMMs.
• Abstract（参考訳）: きめ細かい視覚的理解は、局所的な属性と空間的関係の微妙な違いを区別する必要があるが、既存の視覚言語モデルでは依然として困難である。 統一マルチモーダルモデル(UMM)は、理解に相補的な豊富な視覚情報を保持する生成経路を通じて、新たな機会を提供する。 しかし、既存の世代支援理解手法は、主に生成的監督や明示的生成に依存しており、ネイティブ世代側表現の直接利用を体系的に検討していない。 このギャップに対処するために、世代側表現がよりきめ細かな理解にどのような影響を及ぼすのかを体系的に分析し、よりきめ細かな意味的変化に敏感であること、理解側表現に欠落したタスク関連変化を捉えること、この利点のために正しい空間的組織に依存する。 これらの知見に導かれて,我々はGAFUを設計した。 生成側の視覚表現をコンパクトな \(G\) トークンに圧縮し、細粒度の視覚的詳細を保存し、理解経路によるタスク条件付き検索を可能にする。 実験の結果、GAFUは様々な視覚的理解タスクとUMMアーキテクチャで訓練されたSFTベースラインを一貫して上回り、それぞれVStar-Bench、OmniSpatial、VSR-Benchで最大で20.00\%、17.94\%、 8.62\%の改善があった。 GAFUは、生成経路からの相補的な情報をきめ細かい視覚的理解の得に変換し、UMMの生成と理解の相乗効果への効果的な経路を提供する。

関連論文リスト

• Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System [90.64481646805855]
  統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成を共同で行う。 制御された、構造的にネイティブな環境で、それらの関係を表現、タスク、システムレベルで調査する。 適切な特殊化やタスク知識の共有,エンドツーエンドの最適化など,UMMの価値は統一インターフェースを超えて,共存を相乗効果に転換できることを示す。
  論文  参考訳（メタデータ） (2026-09-01T17:59:59Z)
• Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction [11.257989394325671]
  生成誘導学習フレームワークは、視覚生成を表現学習の補助的指導として再解釈する。 ガスは集合的マルチモーダル理解を改善し、その最も確実な利得は知覚と空間的理解である。
  論文  参考訳（メタデータ） (2026-08-12T16:03:31Z)
• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models [98.8608163448532]
  統一マルチモーダルモデル(UMM)は、視覚的理解と生成の統合において顕著な進歩を遂げた。 本稿では,UMMを教師と学生として同時に機能させる,トークンレベルの固有テキスト画像アライメント報酬機構GvUを提案する。 提案手法により,UMMの生成が大幅に向上し,視覚的理解の微粒化が促進されることを示す。
  論文  参考訳（メタデータ） (2026-03-06T08:56:14Z)
• Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation [53.18286807225952]
  統一マルチモーダルモデル(UMM)は、視覚的理解と生成の両方を単一のフレームワークに統合する。 単純なアーキテクチャに依存しないポストトレーニング手法であるUniMRG(Unified Multi-Representation Generation)を提案する。 提案手法は, 微粒化知覚を高め, 幻覚を低減し, 空間的理解を向上し, 同時に生成能力を向上する。
  論文  参考訳（メタデータ） (2026-01-29T08:42:25Z)
• Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
  我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。 HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
  論文  参考訳（メタデータ） (2025-03-27T20:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。