論文の概要: Task Context Shapes Component Roles in Language Models

• arxiv url: http://arxiv.org/abs/2610.13895v1
• Date: Fri, 09 Oct 2026 17:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.702544
• Title: Task Context Shapes Component Roles in Language Models
• Title（参考訳）: タスクコンテキストが言語モデルにおけるコンポーネントの役割を形作る
• Abstract要約: 大規模な言語モデルは、タスク全体で同じ注意点を再利用します。 同一のグラフ事実を用いたタスク間の固定モデルコンポーネントの比較を行う。 介入が後層における注意頭および活性化状態にどのように影響するかを測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models reuse the same attention heads across tasks, but identifying these shared heads does not explain what they do differently in each task. A natural source of inspiration is task-dependent interactions among shared brain regions, which motivate a network view of language-model computation. Here, we compare fixed model components across tasks using identical graph facts, statements specifying which directed connections are present. We measure how interventions affect attention heads and the activation state in later layers (influence), as well as the answer (importance). Task changes redistribute the influence in five open-weight models spanning four families and 1.5-14 billion parameters. In Gemma-2-9B and Qwen3-14B, an activation edit changes an early internal activation vector and switches which fact the model reads while the written instruction stays fixed. The same heads then respond to different graph facts and influence later components differently. For each prompt, we construct two linear response maps, one before the edit and one after it. Each map predicts a later head's response from a measured change in an earlier head. For a separate factual intervention, the map for the corresponding condition reduces mean squared prediction error by 53.6% in Gemma and 5.0% in Qwen compared with the average of the two maps. These findings show that task context changes both which graph facts the shared components respond to and how their outputs affect later computation. A network account may help explain how models use shared parameters to perform different computations. Measurements of task-dependent influence could also guide interventions intended to alter one behavior while preserving others.
• Abstract（参考訳）: 大規模言語モデルは、タスク全体で同じ注意点を再利用するが、これらの共有ヘッドを特定することは、タスクごとに異なることを説明しない。 インスピレーションの自然な源は、共通脳領域間のタスク依存の相互作用であり、言語モデル計算のネットワークビューを動機付けている。 ここでは、同一のグラフ事実を用いてタスク間の固定モデルコンポーネントを比較し、どの有向接続が存在するかを指定する。 介入が後層(影響)の注意頭および活性化状態にどのように影響するか、および回答(重要度)を測定する。 タスクの変更は、4つのファミリーと15～14億のパラメータにまたがる5つのオープンウェイトモデルにおける影響を再分配する。 Gemma-2-9B と Qwen3-14B では、アクティベーション編集が初期内部のアクティベーションベクトルを変更し、記述された命令が固定されている間に、そのモデルが実際に読み取ったことを切り替える。 同じ頭は異なるグラフの事実に反応し、後続のコンポーネントに異なる影響を与える。 それぞれのプロンプトに対して、2つの線形応答マップを構築します。 それぞれのマップは、前のヘッドで測定された変化から後のヘッドの応答を予測する。 別個の事実介入のために、対応する条件に対する写像は平均2乗予測誤差を Gemma で53.6%、Qwen で5.0% 削減する。 これらの結果から、タスクコンテキストは、共有コンポーネントが応答するグラフ事実と、そのアウトプットが後続の計算にどのように影響するかの両方を変える。 ネットワークアカウントは、モデルが共有パラメータを使って異なる計算を実行する方法を説明するのに役立つかもしれない。 タスク依存の影響の測定は、ある行動を変えながら他の行動を保存するための介入を導くこともできる。

関連論文リスト

• How Do Language Models Choose Between Context and Memory? [0.0]
  方向に沿った操舵が因果関係を確立できないことを示す。 また、オーソリティ計算はタスク間で再利用可能なものではなく、タスクに依存している可能性があることを示す。
  論文  参考訳（メタデータ） (2026-09-01T05:35:36Z)
• Unifying Graph Neural Networks Through a Common Layer Equation [75.88127999406392]
  7つのコンポーネントを通して被覆されたアーキテクチャを表現する共通層方程式を導入する。 中央の因子化は、伝達銀行によってエンコードされた情報と、メッセージマップによってエンコードされた動きとを分離する。 この統合を明確化し、標準層とコンポーネント割り当ての作業的削減を通じて、チェック可能にする。
  論文  参考訳（メタデータ） (2026-08-17T04:37:59Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B [51.74607395697567]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)の興味深い能力である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 このモデルでは,2段階戦略を用いてタスク情報を推論し,コンテキスト化-then-aggregateと呼ぶ。
  論文  参考訳（メタデータ） (2025-03-31T18:33:55Z)
• Disentangled Action Recognition with Knowledge Bases [77.77482846456478]
  本研究では,新規な動詞や新規な名詞に対する合成行動認識モデルの一般化能力の向上を目指す。 従来の作業では、知識グラフ内の動詞-名詞合成アクションノードを使用しており、スケールを非効率にしている。 本提案手法は, 行動の固有な構成性を活用する, 知識ベースを用いた不整合行動認識(DARK)である。
  論文  参考訳（メタデータ） (2022-07-04T20:19:13Z)
• Graph Similarity Description: How Are These Graphs Similar? [22.13572532899817]
  目的が理解を得ることであれば、グラフの類似性評価を記述問題として扱うべきであると論じる。 我々はこの問題を最小記述長原理を用いてモデル選択タスクとして定式化する。 優れたモデルを発見するために,この問題を2つの部分に分割し,それぞれに効率的なアルゴリズムを導入するMomoを提案する。
  論文  参考訳（メタデータ） (2021-05-29T19:55:27Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。