論文の概要: Why Vision Fails as a Universal Bridge: Rectifying Modality Asynchrony in Multilingual MLLMs

• arxiv url: http://arxiv.org/abs/2608.15085v1
• Date: Sat, 15 Aug 2026 07:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.181815
• Title: Why Vision Fails as a Universal Bridge: Rectifying Modality Asynchrony in Multilingual MLLMs
• Title（参考訳）: ビジョンがユニバーサルブリッジとして機能しない理由:多言語MLLMにおけるモダリティ非同期性を実証する
• Abstract要約: MLLM(Multimodal large language model)は、非英語の視覚的推論において顕著な性能劣化を示す。 PVA(Proactive Visual Anchoring)を用いた早期視覚意味発生の促進を目的としたトレーニングフレームワークである textbfANCHOR を提案する。 機械的介入により、ANCHORは早期翻訳中に視覚信号の因果的影響を回復することに成功した。
• 参考スコア（独自算出の注目度）: 17.007513213148698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) exhibit substantial performance degradation in non-English visual reasoning, despite the strong multilingual competence of their text-only backbones. While mechanistic evidence from text-only models suggests that non-English inputs are routed through an English-centric latent space, the multimodal implications of this phenomenon remain unexplored. Through rigorous mechanistic analysis, we identify the \textbf{Ghost Anchor} phenomenon: a temporal modality asynchrony where linguistic translation to the English semantic manifold completes in early layers, while visual semanticization remains immature. Consequently, visual signals are physically present yet functionally invisible during the early alignment window. To rectify this, we propose \textbf{ANCHOR}, a training framework employing Proactive Visual Anchoring (PVA) to accelerate early visual semantic emergence, ensuring visual representations proactively guide linguistic translation. Mechanistic interventions confirm that ANCHOR successfully restores the causal influence of visual signals during early translation. Furthermore, extensive experiments on XMMMU, MaXM, and CVQA demonstrate that ANCHOR consistently outperforms standard baselines, achieving robust visual reasoning across both fine-tuned and zero-shot languages.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、テキストのみのバックボーンの強い多言語能力にもかかわらず、非英語の視覚的推論において顕著な性能低下を示す。 テキストのみのモデルによる機械的証拠は、非英語入力が英語中心の潜伏空間を通ってルートされていることを示唆しているが、この現象のマルチモーダルな含意は未解明のままである。 厳密なメカニスティック解析により、英意味多様体への言語翻訳が初期層で完了する時相的モーダリティの非同期性である「textbf{Ghost Anchor} 現象」を同定し、視覚的意味化は未成熟のままである。 その結果、視覚信号は、初期アライメントウィンドウ中に物理的に存在するが、機能的に見えない。 そこで本稿では,PVA(Proactive Visual Anchoring)を用いた学習フレームワークである‘textbf{ANCHOR} を提案する。 機械的介入により、ANCHORは早期翻訳中に視覚信号の因果的影響を回復することに成功した。 さらに、XMMMU、MaXM、CVQAに関する広範な実験は、ANCHORが標準ベースラインを一貫して上回り、微調整言語とゼロショット言語の両方で堅牢な視覚的推論を実現することを示した。

関連論文リスト

• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
  Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。 本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
  論文  参考訳（メタデータ） (2026-02-06T18:48:18Z)
• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Towards Mitigating Modality Bias in Vision-Language Models for Temporal Action Localization [20.179748846776995]
  本稿では、TALにおけるモダリティバイアスを軽減する視覚言語集約フレームワークであるActionVLMを提案する。 私たちの重要な洞察は、視覚を主流の信号として保存し、有利な場合にのみ適応的に言語を利用することです。 THUMOS14の実験では、我々のモデルは最先端の3.2%mAPよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-28T22:03:46Z)
• Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
  残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
  論文  参考訳（メタデータ） (2026-01-07T16:16:10Z)
• CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention [56.08815340137881]
  LVLM(Large Vision-Language Models)は、印象的なマルチモーダル能力を示したが、多言語オブジェクト幻覚の傾向は残っていない。 LVLMにおける多言語オブジェクト幻覚(CLAIM)の緩和のための言語横断的注意介入を提案する。
  論文  参考訳（メタデータ） (2025-06-03T11:17:16Z)
• Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination [13.706325901731665]
  MLLM(Multimodal large language model)は、視覚的・言語的モダリティの統合を推進している。 思考の連鎖(CoT)推論のような現在のアプローチは、大規模言語モデル(LLM)の認知能力を増強している。 しかし、MLLMへの適応は、相互モダリティ理解における幻覚のリスクの増大によって妨げられている。
  論文  参考訳（メタデータ） (2024-11-15T21:01:37Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting [105.5303416210736]
  非教師なし機械翻訳(MT)は、最近モノリンガルコーパスのみを用いて印象的な結果を得た。 ソースターゲットの文を潜時空間で関連付けることは依然として困難である。 異なる言語が生物学的に類似の視覚システムを共有しているため、視覚的コンテンツを通してより良いアライメントを達成する可能性は有望である。
  論文  参考訳（メタデータ） (2020-05-06T20:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。