論文の概要: How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning

• arxiv url: http://arxiv.org/abs/2605.16591v1
• Date: Fri, 15 May 2026 19:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.717958
• Title: How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning
• Title（参考訳）: In-Context学習における関数ベクトルの因果分解
• Authors: Entang Wang, Yiwei Wang, Aleksandra Bakalova, Michael Hahn,
• Abstract要約: In-context Learning (ICL)は、最小限の例から新しいタスクを抽出する。 モデル関数ベクトル (FV) のショットプロンプトがいかに少ないかを示す。 実験がFVを支配している適応的再重み付けの先行例に基づいて,各例の表現を文脈的に表現することを示す。
• 参考スコア（独自算出の注目度）: 48.80008450455555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) excels at new tasks from minimal examples, yet we still lack a mechanistic explanation of how few-shot prompts shape a model's function vector (FV)--a causal activation direction that drives task behavior on the ICL query. Across tasks and models, an $n$-shot FV is well-approximated by a linear combination of example-level sub-FVs, suggesting additive and composable contributions from individual demonstrations. Beyond additivity, we show that models contextualize individual examples' representations based on prior examples to adaptively reweight which demonstrations dominate the FV: attention shifts toward examples that are more informative and less ambiguous under the context. Finally, a causal decomposition separates Query-Key routing from Value updates, finding that contextualization's most consistent contributions to FV quality arise from Query-Key alignment--particularly in ambiguous settings--while Value-mediated effects are more heterogeneous. Together, these results unify additive superposition with context-dependent attention reweighting into a mechanistic, testable account of how few-shot prompts implement tasks.
• Abstract（参考訳）: In-context Learning (ICL) は最小限の例から新しいタスクを抽出するが、モデル関数ベクトル(FV)をどう形作るかという機械的な説明はいまだにない。 タスクやモデル全体で、$n$-shot FVは例レベルのサブFVの線形結合によってよく近似され、個々のデモから追加的かつ構成可能なコントリビューションが提案される。 付加性以外のモデルでは、先行例に基づいて個々の例の表現を文脈化して適応的に重み付けし、実演がFVを支配していることを示す。 最後に、因果分解は、クエリキールーティングとバリュー更新を分離し、コンテキスト化のFV品質に対する最も一貫性のあるコントリビューションは、クエリキーアライメント(特にあいまいな設定で)から生じる。 これらの結果は、文脈依存の注意を重み付けした付加的重ね合わせを、少数ショットプロンプトがいかにタスクを実装するかという、機械的かつ検証可能な説明に統一する。

関連論文リスト

• Retrieving Counterfactuals Improves Visual In-Context Learning [41.6338086518055]
  In-context Learning (ICL)は、視覚言語モデルが新しいタスクに適応するための有望な道を提供する。 既存の検索強化アプローチは、パッシブ類似性に基づく検索に依存している。 本稿では,実証セットを積極的に構築する新しいフレームワークであるCIRCLESを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T16:18:09Z)
• Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B [51.74607395697567]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)の興味深い能力である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 このモデルでは,2段階戦略を用いてタスク情報を推論し,コンテキスト化-then-aggregateと呼ぶ。
  論文  参考訳（メタデータ） (2025-03-31T18:33:55Z)
• DoubleDipper: Improving Long-Context LLMs via Context Recycling [44.24067814871803]
  In-Context-Learning法であるDoubleDipperを提案する。 提案手法を大規模言語モデルに適用し,大幅な改良を行った。 驚いたことに、シングルホップICLの例しか導入していないにもかかわらず、LLMはマルチホップ長文QAに一般化することに成功している。
  論文  参考訳（メタデータ） (2024-06-19T15:28:29Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。