論文の概要: Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2509.23744v1
• Date: Sun, 28 Sep 2025 08:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.416364
• Title: Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning
• Title（参考訳）: コンポジションとファウズ:マルチモーダル推論における基礎的ボツネックの再考
• Authors: Yucheng Wang, Yifan Hou, Aydin Javadov, Mubashara Akhtar, Mrinmaya Sachan,
• Abstract要約: MLLM(Multimodal large language model)は、テキスト、ビジョン、オーディオなどの多様な入力を統合することで推論を強化することを約束する。 しかし、追加のモダリティがパフォーマンスを損なうかどうかについての報告は相反する。 我々は、多モーダル推論を6つの相互作用パターンに分類し、事実がどのようにモダリティに分散され、論理的に組み合わせられるかを決定する。
• 参考スコア（独自算出の注目度）: 49.17801010041155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) promise enhanced reasoning by integrating diverse inputs such as text, vision, and audio. Yet cross-modal reasoning remains underexplored, with conflicting reports on whether added modalities help or harm performance. These inconsistencies stem from a lack of controlled evaluation frameworks and analysis of models' internals to isolate when and why modality interactions support or undermine reasoning. We address this gap through a logic-grounded evaluation framework that categorizes multimodal reasoning into six interaction patterns, varying how facts are distributed across modalities and logically combined. Empirically, additional modalities enhance reasoning only when they provide independent and sufficient reasoning paths, while redundant or chained entailment support often hurts performance. Moreover, reasoning degrades in three systematic ways: weaker modalities drag down overall performance, conflicts bias preference toward certain modalities, and joint signals from different modalities fail to be integrated effectively. Therefore, we identify two core failures: task-composition bottleneck, where recognition and reasoning cannot be jointly executed in one pass, and fusion bottleneck, where early integration introduces bias. For further investigation, we find that attention patterns fail to encode fact usefulness, but a simple two-step prompting (recognize then reason) restores performance, confirming the task-composition bottleneck. Moreover, modality identity remains recoverable in early layers, and softening attention in early fusion improves reasoning, highlighting biased fusion as another failure mode. Overall, our findings show that integration, not perception, is the main barrier to multimodal reasoning, suggesting composition-aware training and early fusion control as promising directions.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、テキスト、ビジョン、オーディオなどの多様な入力を統合することで推論を強化することを約束する。 しかし、追加のモダリティがパフォーマンスを損なうかどうかについての報告は相反する。 これらの矛盾は、制御された評価フレームワークの欠如とモデルの内部の分析が、なぜモダリティの相互作用が推論をサポートするか、あるいは弱体化させるのかを、いつ、なぜ分離するかに起因している。 このギャップは、多モーダル推論を6つの相互作用パターンに分類し、事実をモダリティに分散し、論理的に組み合わせた論理的評価フレームワークによって解決される。 実証的には、追加のモダリティは、独立的で十分な推論パスを提供する場合にのみ推論を強化するが、冗長または連鎖的なエンターメントサポートは、しばしばパフォーマンスを損なう。 さらに、より弱いモダリティは全体的な性能を低下させ、特定のモダリティに対する偏差優先の矛盾を生じさせ、異なるモダリティからの結合信号は効果的に統合されない。 そこで,タスク・コンポジション・ボトルネック,認識と推論をひとつのパスで共同実行できないタスク・コンポジション・ボトルネック,早期統合でバイアスが発生するフュージョン・ボトルネックという2つのコア・障害を特定した。 さらなる調査では、注意パターンは事実の有用性を符号化しないが、単純な2段階のプロンプト(認識と理由)によってパフォーマンスが回復し、タスク構成のボトルネックが確認される。 さらに、初期の層ではモダリティの同一性は回復可能であり、初期の融合における注意の軟化は推論を改善し、別の障害モードとしてバイアスドフュージョンを強調させる。 総じて,統合は多モーダル推論の主要な障壁であり,構成意識訓練と早期融合制御を有望な方向として示唆している。

関連論文リスト

• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Learning What to Attend First: Modality-Importance-Guided Reasoning for Reliable Multimodal Emotion Understanding [50.014363382140324]
  モダリティ・コンパタンス(MI)は、感情に支配的なモダリティを識別するためのシンプルで効果的なメカニズムである。 MIGRは推論シーケンスを再編成し、その説明は対象の感情に対して最も重要なモダリティから始まる。 その結果、MIGRは推論信頼性を大幅に改善し、感情的に矛盾した説明を伴う正しい予測の事例を減少させることがわかった。
  論文  参考訳（メタデータ） (2025-12-02T12:29:41Z)
• CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution [20.823419395675412]
  CrossCheck-Benchは、マルチモーダル入力における矛盾検出を評価するための診断ベンチマークである。 タスクが知覚的マッチングから論理的矛盾検出に移行するにつれて、13の最先端の視覚言語モデルを評価し、一貫した性能低下を観察する。
  論文  参考訳（メタデータ） (2025-11-19T12:17:15Z)
• When One Modality Sabotages the Others: A Diagnostic Lens on Multimodal Reasoning [22.39245479538899]
  本報告では,高信頼な一元誤差が他の証拠をオーバーライドし,融合結果を誤認する診断障害モードであるモダリティ・サボタージュを導入する。 モデル非依存評価層は、各モダリティをエージェントとして扱い、候補ラベルと監査に用いる簡単な自己評価を生成する。 単純な融合機構はこれらの出力を集約し、コントリビュータ(正しい結果を支持するモダリティ)とサボツール(誤解を招くモダリティ)を露呈する。
  論文  参考訳（メタデータ） (2025-11-04T18:20:13Z)
• ROVER: Benchmarking Reciprocal Cross-Modal Reasoning for Omnimodal Generation [79.17352367219736]
  ROVERは1つのモダリティを使用して、もう1つの出力を誘導、検証、精査する。 ROVERは、相互モーダルな推論を明示的にターゲットとする、人間による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2025-11-03T02:27:46Z)
• What MLLMs Learn about When they Learn about Multimodal Reasoning: Perception, Reasoning, or their Integration? [46.836858357488296]
  マルチモーダル推論モデルは、最近、オリンピアドレベルの幾何学のような挑戦的な領域を約束している。 マルチモーダル推論のサブスキルを切り離すために設計されたベンチマークであるMathLensを紹介する。
  論文  参考訳（メタデータ） (2025-10-02T06:58:29Z)
• Rethinking Explainability in the Era of Multimodal AI [9.57008593971486]
  マルチモーダルAIシステムはユビキタスになり、ハイテイクなアプリケーションにまたがって優れたパフォーマンスを実現している。 既存の説明可能性のテクニックの多くは単調のままであり、モダリティ固有の特徴属性、概念、回路トレースを分離して生成する。 本稿では, マルチモーダルモデル決定を駆動するクロスモーダルな影響を, 体系的に誤表現し, 捉えることができないことを論じる。
  論文  参考訳（メタデータ） (2025-06-16T03:08:29Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models [26.17300490736624]
  MLLM(Multimodal Large Language Models)は、一貫した視覚・テキスト入力で主に訓練され、テストされる。 本稿では,MLLMの意味的ミスマッチの検出と推論能力を評価するためのマルチモーダル不整合推論ベンチマークを提案する。 我々は6つの最先端MLLMを評価し、o1のような専用マルチモーダル推論能力を持つモデルは、その性能を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-22T01:52:37Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。