論文の概要: VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision

• arxiv url: http://arxiv.org/abs/2609.27948v1
• Date: Tue, 25 Aug 2026 16:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.017318
• Title: VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
• Title（参考訳）: VIVAS:視覚言語統合自己回帰スーパービジョンによるVLM事前学習における視覚知覚の可視化
• Abstract要約: VLM(Vision-Language Models)は、細粒度の視覚知覚に乏しく、多モード理解を制限している。 本稿では,高密度な構造・意味的視覚トークン化を実現する,統一トークン空間パラダイムに基づくフレームワークVIVASを提案する。 事前訓練中、VIVASは視覚的詳細と言語的内容の両方について視覚言語で統一された自己回帰監視を行う。
• 参考スコア（独自算出の注目度）: 69.1715693679928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Vision-Language Models (VLMs) demonstrate strong capabilities, they continue to suffer from a critical limitation: insufficient fine-grained visual perception, which fundamentally limits their multimodal understanding. We attribute this bottleneck to text-dominant optimization biases during pre-training, which encourage the model to overlook fine-grained visual details, thereby limiting the capability of multimodal understanding. We investigate that overcoming this bottleneck requires two key elements: (1) a unified token space paradigm that ensures stable training dynamics, and (2) a modality-aligned dense visual supervision signal enriched with both structural granularity and semantic information to capture critical visual representations. Based on these insights, we propose VIVAS, a framework built upon the unified token space paradigm, which introduces a dense-structural-semantic vision tokenizer, which expands the textual vocabulary into a unified vision-language vocabulary by incorporating a visual vocabulary. During pretraining, VIVAS performs vision-language unified autoregressive supervision over both visual details and linguistic content, thereby enhancing visual perception to improve multimodal understanding. Trained end-to-end on 12.4T tokens, VIVAS achieves state-of-the-art performance across 7 tasks and 39 multimodal benchmarks.
• Abstract（参考訳）: VLM(Vision-Language Models)は強力な能力を示すが、それらは重要な限界に悩まされ続けている。 このボトルネックは、事前学習中にテキスト優先の最適化バイアスに起因し、モデルが細かな視覚的詳細を見落とし、マルチモーダル理解の能力を制限することを促す。 このボトルネックを克服するには,(1)安定なトレーニングダイナミックスを保証する統一トークン空間パラダイム,(2)重要な視覚表現を捉えるために,構造的粒度と意味情報の両方に富んだモダリティに整合した濃密な視覚監視信号の2つの重要な要素が必要である。 これらの知見に基づいて、視覚的な語彙を組み込むことにより、文体語彙を統一的な視覚言語語彙に拡張する、密構造的・意味的視覚トークン化器を導入する、統一トークン空間パラダイムに基づくフレームワークであるVIVASを提案する。 事前トレーニング中、VIVASは視覚的詳細と言語的内容の両方を視覚言語で統一した自己回帰的監視を行い、視覚的知覚を高め、マルチモーダル理解を改善する。 12.4TトークンでエンドツーエンドにトレーニングされたVIVASは、7つのタスクと39のマルチモーダルベンチマークで最先端のパフォーマンスを達成する。

関連論文リスト

• UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm [68.1110411824096]
  マルチモーダル大規模言語モデル(MLLM)は、教師あり学習パラダイムの下で優れたマルチモーダル理解性能を達成することができる。 本稿では,ベクトル量子化を実現する視覚言語統合型自己回帰フレームワークを提案する。 画素レベルの視覚知覚とセマンティックレベルの視覚理解を効果的に相乗し、視覚再構成能力を内部化し、事前学習段階における理解の促進における視覚監督の促進的な役割を解き放つ。
  論文  参考訳（メタデータ） (2026-08-25T16:18:52Z)
• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models [1.9253106218929117]
  MLLM(Multimodal Large Language Models)は、視覚的な入力を完全に活用できないことが多い。 われわれのアプローチはまず、MLLMが画像領域の視覚的理解をどのように構築するかについての洞察を与え、その能力を増幅する技術を導入する。 本稿では,視覚的に依存するトークンの予測能力の定量化と,視覚的に困難なタスクの10 pt の高速化により,結果モデルのより優れたマルチモーダル理解を実証する。
  論文  参考訳（メタデータ） (2025-05-08T20:04:27Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。