論文の概要: The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2604.14363v1
• Date: Wed, 15 Apr 2026 19:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.57877
• Title: The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models
• Title（参考訳）: 言語コスト:マルチモーダル言語モデルにおけるCentroid Exsure Exposes and Exploits Modal Competition
• Authors: Akshay Paruchuri, Ishan Chatterjee, Henry Fuchs, Ehsan Adeli, Piotr Didyk,
• Abstract要約: マルチモーダル言語モデルは視覚知覚タスクにおいて体系的に過小評価される。 我々は、各トークンを最も近いK平均セントロイドにラップして、セントロイド置換を提案する。 我々はこの非対称性をテキストセントロイドコントラストデコーディングによって活用する。
• 参考スコア（独自算出の注目度）: 17.80503631724334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal language models systematically underperform on visual perception tasks, yet the structure underlying this failure remains poorly understood. We propose centroid replacement, collapsing each token to its nearest K-means centroid, as a controlled probe for modal dependence. Across seven models spanning three architecture families, erasing text centroid structure costs 4$\times$ more accuracy than erasing visual centroid structure, exposing a universal imbalance where language representations overshadow vision even on tasks that demand visual reasoning. We exploit this asymmetry through text centroid contrastive decoding, recovering up to +16.9% accuracy on individual tasks by contrastively decoding against a text-centroid-erased reference. This intervention varies meaningfully with training approaches: standard fine-tuned models show larger gains (+5.6% on average) than preference-optimized models (+1.5% on average). Our findings suggest that modal competition is structurally localized, correctable at inference time without retraining, and quantifiable as a diagnostic signal to guide future multimodal training.
• Abstract（参考訳）: マルチモーダル言語モデルは視覚的知覚タスクにおいて体系的に過小評価されるが、この失敗の根底にある構造はいまだに理解されていない。 我々は,各トークンを最寄りのK平均セントロイドに分解して,モード依存の制御プローブとしてセントロイド置換を提案する。 3つのアーキテクチャファミリにまたがる7つのモデルのうち、テキストセントロイド構造を消去するコストは、視覚セントロイド構造を消去するよりも4$\times$の精度である。 我々はこの非対称性をテキストセントロイドのコントラストデコーディングにより利用し、テキストセントロイドによる参照に対するコントラストデコーディングにより、個々のタスクの+16.9%の精度を回復する。 標準的な微調整モデルは、好みに最適化されたモデル(平均で+1.5%)よりも大きな利得(平均で5.6%)を示している。 本研究は,モーダルコンペティションが構造的局所化され,再トレーニングなしで推論時に修正可能であり,将来のマルチモーダルトレーニングを導くための診断信号として定量化可能であることを示唆する。

関連論文リスト

• Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
  我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。 我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。 我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
  論文  参考訳（メタデータ） (2026-03-03T18:58:00Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• Closing the Gap: Data-Centric Fine-Tuning of Vision Language Models for the Standardized Exam Questions [0.0]
  高品質なデータによる教師付き微調整は、プロプライエタリなアプローチと競合する可能性があることを示す。 以上の結果から,データ合成と表現構文がマルチモーダル推論において決定的な役割を果たすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-14T14:28:14Z)
• The Art of Breaking Words: Rethinking Multilingual Tokenizer Design [21.9940001977516]
  既存のトークン化器は高いトークン対ワード比、文脈長の非効率な使用、推論の遅さを示す。 本稿では,語彙サイズ,事前トークン化規則,トレーニングコーパス構成をトークン・ツー・ワード効率とモデル品質の両方に関連付ける体系的な研究を提案する。 我々のトークンライザは、最先端の多言語インデックスモデルに対して平均トークン対ワード比を40%以上改善する。
  論文  参考訳（メタデータ） (2025-08-03T15:31:10Z)
• Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models [28.944990804599893]
  CLIPとOpenCLIPを比較することで、モデルサイズ、トレーニングデータスケール、トレーニングデータソースの3つの設計要素を分離します。 また、Bias Prompts、Prompt Array、SANERの3つのポストホック、テストタイムのデバイアス戦略を評価します。
  論文  参考訳（メタデータ） (2025-01-22T21:08:30Z)
• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• UniBoost: Unsupervised Unimodal Pre-training for Boosting Zero-shot Vision-Language Tasks [60.46473247205654]
  大規模で教師なしのユニモーダルモデルを事前学習として使用することにより、画像テキストペアモデルのゼロショット性能を向上させることができる。 実験の結果,単調な事前学習は最先端のCLIPモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-07T18:26:22Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。