論文の概要: Capturing In-Context Learning Dynamics with Task Operators

• arxiv url: http://arxiv.org/abs/2610.01054v1
• Date: Thu, 01 Oct 2026 04:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.907323
• Title: Capturing In-Context Learning Dynamics with Task Operators
• Title（参考訳）: タスク演算子を用いた文脈内学習ダイナミクスのキャプチャ
• Abstract要約: インコンテキスト学習(ICL)により、言語モデルでは、重み更新なしでデモから新しいタスクを実行できる。 以前の作業では、ICLを特定の層や位置から抽出した固定活性化ベクトルに圧縮するが、これらの入力非依存的な介入は複雑なタスクで失敗する。 本稿では,この変換をアテンション出力プロジェクションの解析的更新として再生するタスク演算子(TO)を紹介する。
• 参考スコア（独自算出の注目度）: 42.575178574443946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables language models to perform new tasks from demonstrations without weight updates. However, every ICL inference requires processing the full set of examples, resulting in inefficient deployments, and how ICL works mechanistically is not fully understood. Prior work compresses ICL into fixed activation vectors extracted from specific layers or positions, but these input-independent interventions fail on complex tasks where the output depends on fine-grained interactions with the input. By analyzing the ICL forward pass, we show that each attention head's output is an affine transformation of its context-masked counterpart, and that the parameters of this transformation are empirically stable across samples for a given task. Building on this, we introduce Task Operator (TO), which replays this transformation as an analytically derived update to the attention output projection. Across lexical, algorithmic, and reasoning tasks, TO achieves the best overall performance among prior methods and substantially narrows the gap between zero-shot inference and ICL. We further show that the extracted knowledge concentrates in a task-specific sparse circuit across layers and positions, and that averaging operators from disjoint demonstration batches enables effective many-shot scaling without expanding the context window. Our code is available at https://github.com/gzxiong/task_operator.
• Abstract（参考訳）: インコンテキスト学習(ICL)により、言語モデルでは、重み更新なしでデモから新しいタスクを実行できる。 しかし、全てのICL推論は、完全な例の集合を処理し、結果として非効率なデプロイを行い、ICLが機械的にどのように機能するかは、完全には理解されていない。 以前の作業では、ICLを特定の層や位置から抽出した固定活性化ベクトルに圧縮するが、これらの入力非依存の介入は、出力が入力とのきめ細かい相互作用に依存する複雑なタスクで失敗する。 ICLフォワードパスを解析することにより、各アテンションヘッドの出力は、そのコンテキストにマッチしたアフィン変換であり、この変換のパラメータは、与えられたタスクのサンプル間で経験的に安定であることを示す。 これに基づいて,この変換をアテンション出力プロジェクションの解析的更新として再生するタスク演算子(TO)を導入する。 語彙的、アルゴリズム的、推論的なタスク全体にわたって、Toは以前のメソッドで最高の全体的なパフォーマンスを達成し、ゼロショット推論とICLのギャップを大幅に狭める。 さらに、抽出した知識が、階層や位置をまたいだタスク固有スパース回路に集中していること、および、結合しない実演バッチから演算子を平均化することにより、コンテキストウィンドウを拡張することなく、効果的なマルチショットスケーリングを実現することを示している。 私たちのコードはhttps://github.com/gzxiong/task_operator.comから入手可能です。

関連論文リスト

• Transformers as Cross-Task Learners: Shared Structure Drives Sample Efficiency in In-Context Learning [46.85183839946139]
  トランスフォーマーは、事前訓練中に幅広いタスクのファミリーを共同で学習し、短いプロンプトから見知らぬタスクに適応することで、素晴らしいパフォーマンスを達成する。 本稿では、トランスフォーマーが共用タスク構造をどのように活用し、この構造がコンテキスト内学習(ICL)のサンプル複雑さにどのように影響するかを検討する。 我々の知る限りでは、これは一般的な非線形タスク族に対するクロスタスク複雑性を定量化する最初の研究である。
  論文  参考訳（メタデータ） (2026-09-24T05:46:07Z)
• TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals [49.800443965874756]
  インコンテキスト学習(ICL)は、モデルがデモからタスクを推論することを可能にする。 既存のベンチマークでは、モダリティ間でICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していないのが一般的である。 我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。
  論文  参考訳（メタデータ） (2026-09-14T04:42:42Z)
• A Framework for Quantifying How Pre-Training and Context Benefit In-Context Learning [52.07397258423034]
  現実的な設定のクラスにおいて,ICLの性能を解析するための新しいフレームワークを提案する。 我々は、ICL性能と文脈長、および事前訓練と問合せタスク分布のKL分散の正確な関係を導出する。
  論文  参考訳（メタデータ） (2025-10-26T09:21:29Z)
• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• Adaptive Task Vectors for Large Language Models [14.108866468832623]
  Adaptive Task Vectors (ATV) は、各入力クエリに条件付きタスクベクトルを動的に生成する、シンプルで効果的なフレームワークである。 ATVは、目に見えないタスクであっても、強力なパフォーマンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2025-06-03T22:12:28Z)
• Take Off the Training Wheels Progressive In-Context Learning for Effective Alignment [22.224737528266598]
  本稿では,アライメントタスクにおけるトークン表現に対するデモの効果について検討する。 2段階からなる効率的なプログレッシブ・イン・コンテクストアライメント(PICA)手法を提案する。 我々の研究は、ICLのアライメントへの応用を強調し、複雑な世代に対するICLのより深い理解を求める。
  論文  参考訳（メタデータ） (2025-03-13T02:01:02Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。