論文の概要: Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.18160v1
• Date: Mon, 18 May 2026 10:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.302503
• Title: Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models
• Title（参考訳）: 視覚推論:マルチモーダル大言語モデルにおける視覚的一貫性の維持
• Authors: Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang,
• Abstract要約: 視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。 一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
• 参考スコア（独自算出の注目度）: 58.9387276447485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, multimodal large language models (MLLMs) have achieved remarkable progress, primarily attributed to effective paradigms for integrating visual and textual information. The dominant connector-based paradigm projects visual features into textual sequence, enabling unified multimodal alignment and reasoning within a generative architecture. However, our experiments reveal two key limitations: (1) Although visual information serves as the core evidential modality in MLLMs, it is treated on par with textual tokens, diminishing the unique contribution of the visual modality; (2) As generation length increases, particularly within a limited context window, the model's dependence on visual information progressively weakens, resulting in deteriorated vision-language alignment and reduced consistency between generated content and visual semantics. To address these challenges, we propose the Vision Inference Former (VIF), a lightweight architectural module that establishes a direct bridge between pure visual representations and the model's output space. Specifically, VIF continuously injects visual semantics throughout the decoding phase of the inference process, ensuring that the model remains firmly grounded in visual content during generation. We conduct experiments on 14 benchmark tasks covering general reasoning, OCR, table understanding, vision-centric evaluation, and hallucination. Experimental results show that VIF consistently improves model performance across diverse architectures while introducing minimal additional overhead. The code for this work is available at https://github.com/Dong-Xinpeng/VIF.
• Abstract（参考訳）: 近年,マルチモーダル・大規模言語モデル (MLLM) は目覚ましい進歩を遂げている。 支配的なコネクターベースのパラダイムは、視覚的特徴をテキストシーケンスに投影し、生成アーキテクチャ内で統一されたマルチモーダルアライメントと推論を可能にする。 しかし,本実験では, 視覚情報がMLLMの中核的なモダリティとして機能するが, テキストトークンと同等に扱われ, 視覚的モダリティの独特な寄与を減少させる。(2) 生成長が増大するにつれて, 特に限られたコンテキストウィンドウ内では, 視覚情報への依存が徐々に弱まり, 結果として視覚的アライメントが低下し, 生成コンテンツと視覚的セマンティクス間の一貫性が低下する。 これらの課題に対処するために、純粋視覚表現とモデル出力空間との直接ブリッジを確立する軽量アーキテクチャモジュールVision Inference former (VIF)を提案する。 具体的には、VIFは推論プロセスの復号フェーズを通して視覚的意味論を連続的に注入し、モデルが生成中の視覚的内容にしっかりと根ざされていることを保証する。 一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。 実験の結果、VIFは最小限の追加オーバーヘッドを導入しながら、様々なアーキテクチャにわたるモデル性能を一貫して改善していることがわかった。 この作業のコードはhttps://github.com/Dong-Xinpeng/VIF.comで公開されている。

関連論文リスト

• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Stateful Cross-layer Vision Modulation [19.730096071316876]
  マルチモーダル大言語モデル(MLLM)は、視覚表現を強化するために多層視覚特徴融合を広く採用している。 既存のアプローチは通常、表現形成プロセス自体に介入することなく、視覚符号化後の静的連結や重み付けアグリゲーションを実行する。 本稿では,これらの制約に対処する多層メモリ変調ビジョンフレームワーク(SCVM)を提案する。
  論文  参考訳（メタデータ） (2026-02-28T13:57:19Z)
• AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs [2.357397994148727]
  マルチモーダル大言語モデル (MLLM) と画像生成モデル (IGM) について検討した。 我々は、画像からテキストまでのタスクとテキストから画像までのタスクの障害モードを比較するための新しいベンチマークを作成しました。 この結果から,障害モードはモデルとモダリティの間で共有されることが多いが,特定の障害はモデル固有かつモダリティ固有であることがわかった。
  論文  参考訳（メタデータ） (2026-01-20T00:06:58Z)
• v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning [27.688428439248607]
  簡単なポイント・アンド・コピーアプローチによるアクティブな視覚的参照を可能にする軽量な拡張であるv1を紹介する。 これにより、モデルは関連するイメージパッチを特定し、埋め込みを推論ストリームにコピーすることができる。 我々のポインティング戦略では、MLLMはセマンティックな表現をキーとして直接イメージパッチを選択でき、知覚的証拠はモデルの推論と同じ空間に埋め込まれている。
  論文  参考訳（メタデータ） (2025-05-24T19:30:47Z)
• Text Speaks Louder than Vision: ASCII Art Reveals Textual Biases in Vision-Language Models [93.46875303598577]
  視覚言語モデル(VLM)は、マルチモーダル情報処理において急速に進歩しているが、競合する信号の整合性は未解明のままである。 この研究は、VLMがASCIIアートをどう処理するかを考察する。
  論文  参考訳（メタデータ） (2025-04-02T10:47:07Z)
• VARGPT: Unified Understanding and Generation in a Visual Autoregressive Multimodal Large Language Model [38.61292051733335]
  VARGPTは,単一の自己回帰フレームワーク内で視覚的理解と生成を統一する,新しいマルチモーダル大規模言語モデルである。 VarGPTは視覚理解のための次世代予測パラダイムと、視覚自己回帰生成のための次世代予測パラダイムを採用している。 特に、VARGPTは自己回帰的視覚生成と命令-画像合成の能力を自然にサポートし、視覚的理解と生成の両タスクにおいてその汎用性を示す。
  論文  参考訳（メタデータ） (2025-01-21T17:50:43Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。