論文の概要: TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals

• arxiv url: http://arxiv.org/abs/2609.15028v1
• Date: Mon, 14 Sep 2026 04:42:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.074217
• Title: TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals
• Title（参考訳）: TwinICL: Paired Counterfactualsによるマルチモーダルインコンテキスト学習の診断
• Abstract要約: インコンテキスト学習(ICL)は、モデルがデモからタスクを推論することを可能にする。 既存のベンチマークでは、モダリティ間でICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していないのが一般的である。 我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。
• 参考スコア（独自算出の注目度）: 49.800443965874756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables models to infer tasks from demonstrations, but existing benchmarks generally lack matched text and image versions needed to compare ICL performance across modalities. We introduce TwinICL, a procedurally generated benchmark providing such pairs for controlled comparison. Across six open-weight models and 38 tasks, multimodal ICL consistently underperforms text-only ICL, with gaps varying by task family. To test whether this gap can be recovered, we target visual access, task framing, and reasoning through three interventions. Their combination recovers strong multimodal ICL performance on a diagnostic subset, despite limited or inconsistent individual effects. To distinguish difficulties in executing tasks from those in inferring them, we evaluate models with explicit task instructions, revealing a modality gap even when the task is known. We then examine how adding demonstration inputs and outputs reshapes this gap, highlighting demonstrations' dual role as additional context to process and evidence about the task. The dataset is available at https://github.com/lab-flair/TwinICL.
• Abstract（参考訳）: In-context Learning (ICL) では、モデルがデモからタスクを推測できるが、既存のベンチマークでは、ICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していない。 我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。 6つのオープンウェイトモデルと38のタスクにまたがって、マルチモーダルICLは、タスクファミリによって差があるため、テキストのみのICLを一貫して低パフォーマンスにしている。 このギャップを回復できるかどうかを調べるために、視覚的アクセス、タスクフレーミング、および3つの介入による推論を目標とする。 これらの組み合わせは、限定的または矛盾した個々の効果にもかかわらず、診断サブセット上での強いマルチモーダルICL性能を回復する。 タスク実行の難しさと推論の難しさを区別するため,明示的なタスク指示によるモデルの評価を行い,タスクが分かっている場合でもモダリティギャップを明らかにする。 次に、デモのインプットとアウトプットの追加がこのギャップを再認識し、そのタスクに関するプロセスとエビデンスに対する追加のコンテキストとして、デモの二重の役割を強調します。 データセットはhttps://github.com/lab-flair/TwinICLで公開されている。

関連論文リスト

• Many-Shot CoT-ICL: Making In-Context Learning Truly Learn [58.439517684779936]
  In-context Learning (ICL)は、パラメータを更新せずにプロンプト内のデモを条件にすることで、大きな言語モデルを新しいタスクに適応させる。 提案手法は,標準のマルチショット・ルールが転送されないことを示すために,マルチショット・チェーン・オブ・コンテクスト・ラーニング(CoT-ICL)について検討する。
  論文  参考訳（メタデータ） (2026-05-13T13:30:12Z)
• Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks [7.62772056485722]
  In-context Learning (ICL)は、モデルが推論時デモを通じて新しいタスクに適応できるようにする。 大規模な言語モデルでの成功にもかかわらず、ICLのマルチモーダル設定への拡張はいまだに理解されていない。 マルチモーダル ICL はゼロショット設定ではテキストのみの ICL と相容れない性能を示すが,数発のデモでは著しく劣化する。
  論文  参考訳（メタデータ） (2026-04-15T02:12:51Z)
• Stable Diffusion Models are Secretly Good at Visual In-Context Learning [9.829303881652548]
  既成の安定拡散モデルが視覚的文脈内学習(V-ICL)に再利用可能であることを示す。 安定拡散アーキテクチャの自己アテンション層内でのインプレースアテンション再計算を定式化する。 この再利用された安定拡散モデルは、6つの異なるタスクに適応可能であることを示す。
  論文  参考訳（メタデータ） (2025-08-13T17:08:22Z)
• Same Task, Different Circuits: Disentangling Modality-Specific Mechanisms in VLMs [49.42020616826156]
  VLM(Vision-Language Model)は、視覚的な入力に関する質問に答える能力を示すが、テキスト上で類似のタスクを実行する際の精度は高い。 異なるモードのテキスト回路を同定し,比較することにより,この精度ギャップについて検討する。 これを解決するために、後層の視覚データトークンの表現を以前のレイヤに戻します。
  論文  参考訳（メタデータ） (2025-06-10T17:59:21Z)
• Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B [51.74607395697567]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)の興味深い能力である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 このモデルでは,2段階戦略を用いてタスク情報を推論し,コンテキスト化-then-aggregateと呼ぶ。
  論文  参考訳（メタデータ） (2025-03-31T18:33:55Z)
• On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。 最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• X-InstructBLIP: A Framework for aligning X-Modal instruction-aware representations to LLMs and Emergent Cross-modal Reasoning [109.9413329636322]
  本稿では,複数のモーダル性(画像,3D,オーディオ,ビデオ)を凍結した大規模言語モデル(LLM)に統合する効率的なフレームワークを提案する。 提案手法では, Q-Formers と Linear Projections (LP) の2つの異なるプロジェクション機構について検討する。
  論文  参考訳（メタデータ） (2023-11-30T18:43:51Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。