論文の概要: UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm

• arxiv url: http://arxiv.org/abs/2609.27915v1
• Date: Tue, 25 Aug 2026 16:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.011699
• Title: UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
• Title（参考訳）: UVU:ビジョンランゲージ統合自己回帰パラダイムによるマルチモーダル理解の改善
• Abstract要約: マルチモーダル大規模言語モデル(MLLM)は、教師あり学習パラダイムの下で優れたマルチモーダル理解性能を達成することができる。 本稿では,ベクトル量子化を実現する視覚言語統合型自己回帰フレームワークを提案する。 画素レベルの視覚知覚とセマンティックレベルの視覚理解を効果的に相乗し、視覚再構成能力を内部化し、事前学習段階における理解の促進における視覚監督の促進的な役割を解き放つ。
• 参考スコア（独自算出の注目度）: 68.1110411824096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable advancements in multimodal large language models (MLLMs), their fine-grained visual understanding is constrained by a primary reliance on sparse textual supervision. Existing efforts to introduce visual supervision typically do so during post-training, when visual representations have already been largely fixed, causing such signals to act mainly as auxiliary constraints rather than as a primary force for shaping perceptual features. In this paper, we aim to fundamentally reshape the model's perceptual backbone by incorporating vision supervision directly into the pre-training stage. We observe that pixel-level image patches and textual tokens naturally coexist in a shared, raw high-dimensional space characterized by an inherent input symmetry. Leveraging this insight, we propose UVU, a novel vision-language unified autoregressive framework that eschews vector quantization. It uniquely employs continuous visual encoding for lossless representation of visual inputs and proposes a large-scale iterative hierarchical clustering algorithm to construct a pixel-level visual codebook, thereby extending the vocabulary for unified supervision and enabling autoregressive generation of pixel-level image tokens alongside textual tokens. UVU effectively synergizes pixel-level visual perception with semantic-level visual understanding, internalizing visual reconstruction capabilities and unlocking the facilitative role of visual supervision in enhancing understanding in the pre-training stage. Extensive experiments across multiple tasks demonstrate that MLLMs are capable of achieving superior multimodal understanding performance under the supervised learning paradigm of UVU.
• Abstract（参考訳）: MLLM(Multimodal large language model)の顕著な進歩にもかかわらず、その微細な視覚的理解は、疎文の監督に大きく依存している。 既存の視覚的監督導入の取り組みは、視覚的表現がすでにほとんど固定されている場合、一般的には、視覚的特徴を形作るための主要な力としてではなく、主に補助的な制約として機能する。 本稿では,事前学習段階に直接視覚監督を組み込むことで,モデルの知覚バックボーンを根本的に再構築することを目的とする。 画素レベルの画像パッチとテキストトークンは、固有入力対称性によって特徴付けられる共有された生の高次元空間に自然に共存する。 この知見を生かして,ベクトル量子化を駆使した視覚言語統合自己回帰フレームワークUVUを提案する。 視覚入力のロスレス表現に連続的な視覚符号化を採用し、大規模な反復的階層的クラスタリングアルゴリズムを提案し、画素レベルのビジュアルコードブックを構築することにより、統一された監視のための語彙を拡張し、テキストトークンと並行して画素レベルの画像トークンの自動回帰生成を可能にする。 UVUは、セマンティックレベルの視覚理解と画素レベルの視覚知覚を効果的に相乗化し、視覚再構成能力を内部化し、事前学習段階における理解の促進における視覚監督の促進的な役割を解き放つ。 複数のタスクにわたる大規模な実験により、MLLMはUVUの教師付き学習パラダイムの下で優れたマルチモーダル理解性能を達成することができることを示した。

関連論文リスト

• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• Do Vision Language Models Need to Process Image Tokens? [37.581930147059445]
  視覚言語モデル(VLM)は、視覚エンコーダと大きな言語モデル(LLM)を統合することで大きな成功を収めた。 画像の持続処理がパフォーマンスに必要か、初期の層から後期層まで有意義に進化するかは、基本的に不明である。
  論文  参考訳（メタデータ） (2026-04-10T15:38:00Z)
• Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
  大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。 視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。 広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
  論文  参考訳（メタデータ） (2025-09-29T17:59:57Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。