論文の概要: Visual Grounding First, Multimodal In-context Learning Follows

• arxiv url: http://arxiv.org/abs/2610.30592v1
• Date: Thu, 22 Oct 2026 01:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.183445
• Title: Visual Grounding First, Multimodal In-context Learning Follows
• Title（参考訳）: マルチモーダルなインコンテキスト学習のための視覚的グラウンドイング
• Abstract要約: マルチモーダル・イン・コンテクスト・ラーニング(ICL)における「ビジュアルグラウンドディング」の鍵となるボトルネック 本稿では,マルチモーダルコントラストデータを用いたコントラスト強化学習により,視覚的グラウンドの強化を図るProCoReを提案する。 ProCoReは、市販のQwen-VL-3-8Bモデルよりも平均的なマルチモーダルICL分類精度を5.6%改善し、ROUGE-Lを13.8%向上させた。
• 参考スコア（独自算出の注目度）: 56.67161847902566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs have shown strong in-context learning (ICL) capability, but extending it to Multimodal LLMs (MLLMs) remains challenging. Prior multimodal ICL methods often rely on ICL-specific datasets for additional training or task vector extraction, which can improve performance on the same ICL benchmark used for adaptation. However, they do not generalize well to other benchmarks and often induce forgetting in previously well-solved tasks. For this reason, we identify 'visual grounding' as the key bottleneck in multimodal ICL; MLLMs often fail to attend to task-relevant visual evidence in demonstrations, instead over-relying on textual cues and producing hallucinated outputs. To address this, we propose ProCoRe to enhance visual grounding through contrastive reinforcement learning on multimodal contrastive data for improving multimodal ICL. ProCoRe generates captions for contrastive image pairs, decomposes them into propositions, and optimizes contrastive rewards that encourage alignment with corresponding images while discouraging mismatched ones. Despite never seeing ICL-formatted training examples, ProCoRe improves average multimodal ICL classification accuracy by 5.6% and captioning ROUGE-L by 13.8% over the off-the-shelf Qwen-VL-3-8B model, outperforming ICL-data-dependent state of the arts across benchmarks. Finally, we introduce PICL, a personalized multimodal ICL captioning benchmark that tests whether MLLMs genuinely understand visual demonstrations rather than relying on pre-trained semantic priors.
• Abstract（参考訳）: LLMは強力なコンテキスト内学習(ICL)能力を示したが、MLLM(Multimodal LLM)に拡張することは依然として困難である。 以前のマルチモーダルICLメソッドは、追加のトレーニングやタスクベクトル抽出のためにICL固有のデータセットに依存しており、適応に使用されるICLベンチマークのパフォーマンスを向上させることができる。 しかし、それらは他のベンチマークによく当てはまらないため、以前よく解決されたタスクでしばしば忘れを誘発する。 そこで我々は,マルチモーダルICLにおける「視覚的接地」を重要なボトルネックとみなし,MLLMは実演におけるタスク関連視覚的エビデンスへの参加に失敗することが多い。 そこで本研究では,マルチモーダルICLを改善するために,マルチモーダルコントラストデータを用いたコントラスト強化学習により,視覚的グラウンド化を強化するProCoReを提案する。 ProCoReは、コントラストのあるイメージペアのキャプションを生成し、それを命題に分解し、マッチしないイメージを回避しながら、対応するイメージとのアライメントを促進するコントラスト的な報酬を最適化する。 ICL形式のトレーニング例は見つからなかったが、ProCoReは平均的なマルチモーダルICL分類精度を5.6%改善し、ROUGE-Lを13.8%改善した。 最後に,マルチモーダルICLキャプションベンチマークであるPICLを導入し,MLLMが事前学習されたセマンティックプリミティブに頼るのではなく,視覚的デモンストレーションを真に理解しているかどうかを検証した。

関連論文リスト

• NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints [100.02131897927484]
  本稿では,Multimodal Large Language Models(MLLM)のエンドツーエンドなネイティブトレーニングに焦点を当てる。 そこで我々は,NaViLと呼ばれるネイティブMLLMと,シンプルで費用対効果の高いレシピを組み合わせて提案する。 14のマルチモーダルベンチマークによる実験結果から,既存のMLLMに対するNaViLの競合性能が確認された。
  論文  参考訳（メタデータ） (2025-10-09T17:59:37Z)
• Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward [77.34936657745578]
  本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-08T16:48:42Z)
• LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
  この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。 キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。 提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
  論文  参考訳（メタデータ） (2024-11-07T18:59:16Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• Towards Multimodal In-Context Learning for Vision & Language Models [21.69457980865084]
  VLM(State-of-the-the-art Vision-Language Models)は、ビジョンと言語のモダリティを基盤としている。 本稿では, 効果的なデータ混合を用いた, 単純かつ驚くほど効果的なマルチターンカリキュラムベースの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:53:37Z)
• On the Generalization of Multi-modal Contrastive Learning [21.849681446573257]
  MMCLがマルチモーダルペアから有用な視覚表現を抽出する方法について検討する。 テキストペアは、より意味論的に一貫性があり、多様な正のペアを誘導することを示す。 この発見に触発されて,イメージネット上でのSSCLのダウンストリーム性能を大幅に向上させるCLIP誘導再サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:13:56Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。