論文の概要: Understanding Task Vectors in In-Context Learning: Emergence, Functionality, and Limitations

• arxiv url: http://arxiv.org/abs/2506.09048v1
• Date: Tue, 10 Jun 2025 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:43.074334
• Title: Understanding Task Vectors in In-Context Learning: Emergence, Functionality, and Limitations
• Title（参考訳）: 文脈学習におけるタスクベクトルの理解--創発、機能、限界
• Authors: Yuxin Dong, Jiachen Jiang, Zhihui Zhu, Xia Ning,
• Abstract要約: この研究は線形結合導出法を提案し、タスクベクトルは元のベクトルの線形結合によって形成された単一のコンテキスト内実証として機能することを示した。 本研究では,三重項型プロンプトを訓練した線形変圧器において,タスクベクトルが自然に現れることを示す。 本研究では,高階マッピングにおけるタスクベクトルの故障を予測し,実用的なLCM上で確認する。
• 参考スコア（独自算出の注目度）: 19.539276425108987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task vectors offer a compelling mechanism for accelerating inference in in-context learning (ICL) by distilling task-specific information into a single, reusable representation. Despite their empirical success, the underlying principles governing their emergence and functionality remain unclear. This work proposes the Linear Combination Conjecture, positing that task vectors act as single in-context demonstrations formed through linear combinations of the original ones. We provide both theoretical and empirical support for this conjecture. First, we show that task vectors naturally emerge in linear transformers trained on triplet-formatted prompts through loss landscape analysis. Next, we predict the failure of task vectors on representing high-rank mappings and confirm this on practical LLMs. Our findings are further validated through saliency analyses and parameter visualization, suggesting an enhancement of task vectors by injecting multiple ones into few-shot prompts. Together, our results advance the understanding of task vectors and shed light on the mechanisms underlying ICL in transformer-based models.
• Abstract（参考訳）: タスクベクトルは、タスク固有の情報を単一の再利用可能な表現に蒸留することで、コンテキスト内学習(ICL)における推論を加速するための魅力的なメカニズムを提供する。 実証的な成功にもかかわらず、その出現と機能を支配する根底にある原則はいまだ不明である。 この研究は線形結合導出法を提案し、タスクベクトルは元のベクトルの線形結合によって形成された単一のコンテキスト内実証として機能することを示した。 この予想に対する理論的および実証的な支持を提供する。 まず,三重項型プロンプトを訓練した線形変圧器において,タスクベクトルが自然に現れることを示す。 次に,高階マッピングにおけるタスクベクトルの故障を予測し,実用的なLCM上で確認する。 本研究は,サリエンシ解析とパラメータ可視化によってさらに検証され,複数回のプロンプトを複数回挿入することでタスクベクトルの増大が示唆された。 この結果により,タスクベクトルの理解が進み,インバータモデルにおけるICLの基盤となるメカニズムに光を当てることができた。

関連論文リスト

• Adaptive Task Vectors for Large Language Models [14.108866468832623]
  Adaptive Task Vectors (ATV) は、各入力クエリに条件付きタスクベクトルを動的に生成する、シンプルで効果的なフレームワークである。 ATVは、目に見えないタスクであっても、強力なパフォーマンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2025-06-03T22:12:28Z)
• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
  構造因果モデル(SCM)を用いた探索の形式的視点を開発する。 我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。 我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:27Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Finding Visual Task Vectors [74.67336516908776]
  ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。 我々は,最新のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。
  論文  参考訳（メタデータ） (2024-04-08T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。