論文の概要: Beyond Surface Imitation: Contrastive Modeling for Reasoning Path Alignment in Multimodal In-Context Learning
- arxiv url: http://arxiv.org/abs/2609.10177v1
- Date: Wed, 09 Sep 2026 13:45:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.040772
- Title: Beyond Surface Imitation: Contrastive Modeling for Reasoning Path Alignment in Multimodal In-Context Learning
- Title（参考訳）: 表面模倣を超えて:マルチモーダルインテクスト学習における経路アライメント推論のためのコントラストモデリング
- Abstract要約: In-context Learning (ICL)はマルチモーダル大言語モデル(MLLM)で広く使われている。
既存のICL法は、しばしば文脈内デモの表面レベルの模倣に依存している。
MLLMの自己補充能力と対照的な実演モデルを組み合わせたマルチモーダル ICL フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.500110048966242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) is widely used in multimodal large language models (MLLMs) and achieves strong performance across a wide range of multimodal tasks. However, existing multimodal ICL methods often rely on surface level imitation of in-context demonstrations, making it difficult for MLLMs to align their responses with the reasoning path required by the given multimodal input. This limitation becomes more pronounced in complex multimodal tasks, thereby restricting further improvements in MLLM performance. To address this issue, we propose a new multimodal ICL framework that combines contrastive demonstration modeling with the self-refinement capability of MLLMs. Specifically, our framework reformulates each demonstration by explicitly contrasting a suboptimal response with a better response under the same input, together with a reasoning path that reveals how the response should be refined. This contrastive formulation makes the reasoning path toward the desired response more explicit and guides the MLLM beyond superficial imitation. Furthermore, because effective refinement depends on the current response, we introduce a response-conditioned retrieval mechanism to select demonstrations whose reasoning paths are more relevant to the current response. In addition, we use a lightweight alignment controller to predict response quality and determine whether further refinement is needed. Experiments on three types of multimodal tasks show that the proposed framework consistently improves MLLM performance, with particularly notable gains on visual question answering (VQA).
- Abstract（参考訳）: In-context Learning (ICL) はマルチモーダルな言語モデル (MLLM) で広く使われ、幅広いマルチモーダルタスクで高い性能を発揮する。
しかし、既存のマルチモーダルICL法は、しばしばテキスト内デモの表面レベルの模倣に依存しており、MLLMが与えられたマルチモーダル入力で要求される推論経路と応答を一致させることが困難である。
この制限は、複雑なマルチモーダルタスクにおいてより顕著になり、MLLM性能のさらなる改善が制限される。
この問題に対処するために,コントラスト型実演モデルとMLLMの自己抑制機能を組み合わせたマルチモーダル ICL フレームワークを提案する。
具体的には, 提案手法は, 最適下応答と, 同じ入力下でのより良い応答とを明示的に対比することにより, それぞれの実演を再構成し, 応答の洗練方法を明らかにする。
この対照的な定式化により、所望の応答に対する推論経路がより明確になり、MLLMは表面模倣を越えて導かれる。
さらに, 実効改善は現在の応答に依存するため, 現在の応答とより関係のある推論経路を選択するための応答条件付き検索機構を導入する。
さらに、軽量アライメントコントローラを用いて応答品質を予測し、さらなる改善が必要かどうかを判断する。
3種類のマルチモーダルタスクの実験により,提案手法はMLLMの性能を継続的に改善し,特に視覚的質問応答(VQA)が顕著に向上した。
関連論文リスト
- MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs [0.0]
感情分析のためのマルチモーダル適応Few-Shot Prompting (MAF) フレームワークを提案する。
MAFはクエリ関連デモを検索して統合し、MLLMの感情推論能力を文脈に敏感な方法で引き出す。
公開ベンチマークデータセットの実験では、MAFが大幅に、一貫したパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2026-06-14T09:16:36Z) - Prompting Is All You Need: Multi-view Prompting Large Language Models for Aspect-Based Sentiment Analysis [5.3558051475405515]
マルチビュー・プロンプト(LLM-MvP)を導入し,複数要素の順序付けをLLMプロンプトに適用する多視点原理を適用した。
LLM-MvPは、計算オーバーヘッドを大幅に削減しつつ、微調整されたアプローチよりも性能が優れている。
論文 参考訳（メタデータ） (2026-05-27T07:04:39Z) - Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。
MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。
本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
論文 参考訳（メタデータ） (2026-02-04T12:12:49Z) - Reasoning Guided Embeddings: Leveraging MLLM Reasoning for Improved Multimodal Retrieval [25.629529312687694]
マルチモーダル大言語モデル(MLLM)の生成合理的なプロセスを保存するReasoning Guided Embeddings (RGE)を提案する。
提案手法はまず,命令に条件付き構造的有理数生成を実行し,推論が展開された後に表現を抽出する。
MMEBベンチマークの実験では、推論誘導条件が非推論ベースラインよりも4.9%向上することが示された。
論文 参考訳（メタデータ） (2025-11-20T08:44:47Z) - A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。
本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。
層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文 参考訳（メタデータ） (2025-11-19T04:13:36Z) - EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。
EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。
また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-10T02:39:55Z) - Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward [77.34936657745578]
本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。
本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2025-06-08T16:48:42Z) - Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。
本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。
本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-05T02:28:07Z) - Evaluating and Steering Modality Preferences in Multimodal Large Language Model [42.828461839307174]
マルチモーダル大言語モデル(MLLM)は、マルチモーダルコンテキストを持つ複雑なタスクにおいて顕著なパフォーマンスを実現している。
実験対象のMLLMは, すべて明らかなモダリティバイアスを示し, 外部介入の影響を受けやすいことがわかった。
本稿では,モダリティの選好を明示的に制御するための表現工学に基づく探索・操舵手法を提案する。
論文 参考訳（メタデータ） (2025-05-27T10:07:59Z) - Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす
本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。
我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
論文 参考訳（メタデータ） (2024-12-19T13:25:39Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-20T06:38:10Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳（メタデータ） (2023-10-04T23:33:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。