論文の概要: GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2606.12744v1
• Date: Wed, 10 Jun 2026 23:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.49958
• Title: GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models
• Title（参考訳）: GRIP:大規模マルチモーダルモデルに対するフィードバック誘導型プロンプト検索
• Authors: Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra,
• Abstract要約: インコンテキスト学習は、微調整なしで新しいタスクに大規模言語モデルを適用するための強力なメカニズムとなっている。 In-context Prompts (GRIP) を学習可能な視覚のみの検索フレームワークとして提案する。 GRIPは、対照的なトレーニングを通じて、有害なインコンテキストの例と区別することを学ぶ。
• 参考スコア（独自算出の注目度）: 42.55431877219008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has become a powerful mechanism for adapting Large Language Models (LLMs) to new tasks without fine-tuning. Extending this concept to Large Multimodal Models (LMMs), Multimodal In-Context Learning (M-ICL) relies on retrieving relevant examples, such as images, captions, or question-answer pairs, to guide predictions across tasks like classification, captioning, and visual question answering (VQA). Most existing approaches select in-context examples based on feature-space similarity, assuming that semantically similar samples provide the most useful context. However, our systematic analysis reveals that this assumption does not always hold: visually similar examples are not necessarily those that most effectively enhance in-context learning performance. To address this, we propose the Guided Retrieval of In-context Prompts (GRIP), a learnable vision-only retrieval framework that leverages feedback from LMMs to identify examples that truly improve model predictions. GRIP learns to distinguish beneficial from detrimental in-context examples through contrastive training, refining retrieval beyond pure similarity. Across three multimodal tasks, namely classification, captioning, and VQA, GRIP improves consistently over similarity-based retrieval on Qwen2.5-VL-7B, with its strongest gains in classification on Idefics2-8B. Moreover, we demonstrate that retrievers trained with feedback from one open LMM can be transferred to other models without retraining, including closed-source GPT-4o and Gemini, enabling scalable and cost-efficient deployment of M-ICL. Code will be published upon acceptance.
• Abstract（参考訳）: In-Context Learning (ICL) は、大規模言語モデル(LLM)を微調整なしで新しいタスクに適応するための強力なメカニズムとなっている。 この概念をLMM(Large Multimodal Models)に拡張することで、M-ICL(Multimodal In-Context Learning)は、画像、キャプション、質問応答ペアなどの関連事例を検索して、分類、キャプション、視覚的質問応答(VQA)といったタスクの予測を導く。 既存のほとんどのアプローチは、意味的に類似したサンプルが最も有用なコンテキストを提供すると仮定して、特徴空間の類似性に基づいたコンテキスト内例を選択する。 視覚的に類似した例は、必ずしも文脈内学習性能を最も効果的に向上するものではない。 そこで本研究では,LMMからのフィードバックを活用して,モデル予測を真に改善する例を識別する,学習可能な視覚のみの検索フレームワークGRIPを提案する。 GRIPは、対照的なトレーニングを通じて、純粋な類似性を超えた検索を洗練することで、有害なインコンテキストの例と区別することを学ぶ。 GRIPは、分類、キャプション、VQAという3つのマルチモーダルタスクの中で、Qwen2.5-VL-7Bの類似性に基づく検索よりも一貫して改善され、Idefics2-8Bの分類において最強の利益を得た。 さらに,1つのオープンLMMからのフィードバックでトレーニングしたリトリバーを,オープンソース GPT-4o や Gemini などのリトレーニングなしで他のモデルに転送できることを示し,M-ICL のスケーラブルでコスト効率の良い展開を可能にした。 コードは受理後に公開される。

関連論文リスト

• Retrieving Counterfactuals Improves Visual In-Context Learning [41.6338086518055]
  In-context Learning (ICL)は、視覚言語モデルが新しいタスクに適応するための有望な道を提供する。 既存の検索強化アプローチは、パッシブ類似性に基づく検索に依存している。 本稿では,実証セットを積極的に構築する新しいフレームワークであるCIRCLESを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T16:18:09Z)
• Large Multimodal Models as General In-Context Classifiers [73.11242790834383]
  本稿では,この回答がLMMの重要な能力,すなわちコンテキスト内学習を見落としていることを論じる。 我々は、クローズドワールド分類のための多様なデータセットに関する最先端のLMMをベンチマークし、そのゼロショット性能はCLIPよりも低いが、いくつかのインコンテキスト例を持つLMMは、キャッシュベースのアダプタと対照的なVLMをマッチまたは超える可能性があることを発見した。 この分析をオープンワールド設定に拡張し,LMMの生成特性をタスクに適したものにする。
  論文  参考訳（メタデータ） (2026-02-26T17:08:18Z)
• Context-Adaptive Requirements Defect Prediction through Human-LLM Collaboration [1.4499356176178066]
  本稿では,欠陥予測を静的な分類タスクではなく適応プロセスとして扱うHuman-LLM Collaboration(HLC)アプローチを提案する。 メルセデス・ベンツの要求条件である1,266のQuREベンチマークの弱い単語の匂いを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2026-01-05T10:00:14Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。