論文の概要: Localizing Task Recognition and Task Learning in In-Context Learning via Attention Head Analysis

• arxiv url: http://arxiv.org/abs/2509.24164v1
• Date: Mon, 29 Sep 2025 01:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.67259
• Title: Localizing Task Recognition and Task Learning in In-Context Learning via Attention Head Analysis
• Title（参考訳）: 注意頭分析によるインコンテキスト学習におけるタスク認識とタスク学習の局在化
• Authors: Haolin Yang, Hakaze Cho, Naoya Inoue,
• Abstract要約: TRヘッドはタスクサブスペースに隠れた状態をアライメントすることでタスク認識を促進する一方、TLヘッドはサブスペース内の隠れた状態を正しいラベルに向けて回転させ、予測を容易にする。 したがって、我々のフレームワークは、様々なタスクや設定で大規模な言語モデルがどのようにILCを実行するかについて、統一的で解釈可能な説明を提供する。
• 参考スコア（独自算出の注目度）: 7.677300807530906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the mechanistic underpinnings of in-context learning (ICL) in large language models by reconciling two dominant perspectives: the component-level analysis of attention heads and the holistic decomposition of ICL into Task Recognition (TR) and Task Learning (TL). We propose a novel framework based on Task Subspace Logit Attribution (TSLA) to identify attention heads specialized in TR and TL, and demonstrate their distinct yet complementary roles. Through correlation analysis, ablation studies, and input perturbations, we show that the identified TR and TL heads independently and effectively capture the TR and TL components of ICL. Using steering experiments with geometric analysis of hidden states, we reveal that TR heads promote task recognition by aligning hidden states with the task subspace, while TL heads rotate hidden states within the subspace toward the correct label to facilitate prediction. We further show how previous findings on ICL mechanisms, including induction heads and task vectors, can be reconciled with our attention-head-level analysis of the TR-TL decomposition. Our framework thus provides a unified and interpretable account of how large language models execute ICL across diverse tasks and settings.
• Abstract（参考訳）: 本研究では,大規模言語モデルにおけるICL(In-context Learning)の機械的基盤を,注目頭部のコンポーネントレベル解析とタスク認識(TR)とタスク学習(TL)へのICLの包括的分解という2つの主要な視点を整合させることにより検討する。 本稿では,タスクサブスペースログ属性(TSLA)に基づく新しいフレームワークを提案する。 相関解析,アブレーション研究,入力摂動により,同定されたTRおよびTLの頭部は独立に,ICLのTRおよびTL成分を効果的に捕捉することを示した。 隠れ状態の幾何学的解析を用いたステアリング実験により、TRヘッドがタスクサブスペースに隠れ状態を調整することによってタスク認識を促進する一方、TLヘッドはサブスペース内の隠れ状態を正しいラベルに回転させて予測を容易にする。 さらに、インダクションヘッドやタスクベクトルを含むICL機構に関する過去の知見が、TR-TL分解の注目レベル分析とどのように一致しているかを示す。 したがって、我々のフレームワークは、様々なタスクや設定で大規模な言語モデルがどのようにILCを実行するかについて、統一的で解釈可能な説明を提供する。

関連論文リスト

• Unifying Attention Heads and Task Vectors via Hidden State Geometry in In-Context Learning [2.4866936275046405]
  本稿では,クエリ隠蔽状態の分離性とアライメントという,性能を左右する2つの幾何学的要因を解析する。 従来のトークンヘッドは分離性を駆動し、誘導ヘッドとタスクベクトルはアライメントを強化する。 そこで本研究は,ICLの基盤となるメカニズムを統一的に記述し,アテンションヘッドとタスクベクトルのギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-05-24T15:42:20Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism [28.751003584429615]
  大規模言語モデル(LLM)は、テキスト内学習能力に優れる。 最近の研究は、ICLに関する2つの矛盾する見解を示している。 両ビューを体系的なフレームワークに統合する2次元コーディネートシステムを提供する。
  論文  参考訳（メタデータ） (2024-07-24T05:26:52Z)
• Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
  構造因果モデル(SCM)を用いた探索の形式的視点を開発する。 我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。 我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:27Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning [24.395288160951118]
  大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことを示す。
  論文  参考訳（メタデータ） (2023-05-16T18:05:19Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。