論文の概要: Mimicking or Reasoning: Rethinking Multi-Modal In-Context Learning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.07936v1
• Date: Mon, 09 Jun 2025 16:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.066556
• Title: Mimicking or Reasoning: Rethinking Multi-Modal In-Context Learning in Vision-Language Models
• Title（参考訳）: Mimicking or Reasoning:視覚言語モデルにおけるマルチモーダル・インコンテキスト学習の再考
• Authors: Chengyue Huang, Yuchen Zhu, Sichen Zhu, Jingyun Xiao, Moises Andrade, Shivang Chopra, Zsolt Kira,
• Abstract要約: 視覚言語モデル(VLM)は、文脈内学習(ICL)を示すと広く想定されている 提案するMM-ICLにはReasoningパイプラインが組み込まれている。
• 参考スコア（独自算出の注目度）: 19.361686225381447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are widely assumed to exhibit in-context learning (ICL), a property similar to that of their language-only counterparts. While recent work suggests VLMs can perform multimodal ICL (MM-ICL), studies show they often rely on shallow heuristics -- such as copying or majority voting -- rather than true task understanding. We revisit this assumption by evaluating VLMs under distribution shifts, where support examples come from a dataset different from the query. Surprisingly, performance often degrades with more demonstrations, and models tend to copy answers rather than learn from them. To investigate further, we propose a new MM-ICL with Reasoning pipeline that augments each demonstration with a generated rationale alongside the answer. We conduct extensive and comprehensive experiments on both perception- and reasoning-required datasets with open-source VLMs ranging from 3B to 72B and proprietary models such as Gemini 2.0. We conduct controlled studies varying shot count, retrieval method, rationale quality, and distribution. Our results show limited performance sensitivity across these factors, suggesting that current VLMs do not effectively utilize demonstration-level information as intended in MM-ICL.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、言語のみのモデルと類似した特性である、文脈内学習(ICL)を広く想定されている。 最近の研究は、VLMがマルチモーダルICL(MM-ICL)を実行できることを示唆している。 我々は、分散シフト下でのVLMの評価により、この仮定を再検討する。 驚くべきことに、パフォーマンスはより多くのデモで劣化することが多く、モデルはそれらから学ぶよりも回答をコピーする傾向があります。 さらに,実演の合理化を図ったReasoning Pipelineを用いた新しいMM-ICLを提案する。 我々は3Bから72BまでのオープンソースのVLMと、Gemini 2.0のようなプロプライエタリなモデルを用いて、知覚と推論に必要なデータセットの両方について、広範囲かつ包括的な実験を行う。 我々は、様々なショットカウント、検索方法、合理性、分布の制御された研究を行う。 以上の結果から,現在のVLMではMM-ICLのように実演レベルの情報を効果的に活用できないことが示唆された。

関連論文リスト

• Advancing Multimodal Reasoning Capabilities of Multimodal Large Language Models via Visual Perception Reward [87.06604760273372]
  本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-08T16:48:42Z)
• MLLMs are Deeply Affected by Modality Bias [158.64371871084478]
  MLLM(Multimodal Large Language Models)の最近の進歩は、テキストや画像などの多様なモダリティを統合する上で、有望な成果を示している。 MLLMはモダリティバイアスに強く影響され、しばしば言語に依存し、視覚入力のような他のモダリティを過小評価する。 本稿では,MLLMはモダリティバイアスの影響を強く受けており,様々なタスクにまたがってその発現を明らかにする。
  論文  参考訳（メタデータ） (2025-05-24T11:49:31Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
  MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。 MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。 本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:57:05Z)
• Can Multimodal Large Language Models Truly Perform Multimodal In-Context Learning? [42.03008819332293]
  インコンテキスト学習(ICL)機能を持つ大規模言語モデル(LLM)は、いくつかのデモ(デム)がある場合、特定のコンテキストに迅速に適応することができる。 最近、MLLM (Multimodal Large Language Models) もマルチモーダル ICL の機能を示し、画像、クエリ、回答を含むいくつかのマルチモーダルなデモに対してクエリに応答している。
  論文  参考訳（メタデータ） (2023-11-29T19:08:11Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。