論文の概要: A mechanistic study of language model introspection

• arxiv url: http://arxiv.org/abs/2609.35108v1
• Date: Mon, 28 Sep 2026 13:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:55:39.305937
• Title: A mechanistic study of language model introspection
• Title（参考訳）: 言語モデルイントロスペクションの力学的研究
• Abstract要約: 大きな言語モデル(LLM)は、しばしば内部のアクティベーションに摂動を報告できる。 本稿では,入力テキストを固定する制御タスクを用いて,この問題について検討する。 イントロスペクティブ・レポーティングでは,2つの小さな注意点群がそれぞれ異なる役割を担っている。
• 参考スコア（独自算出の注目度）: 14.164238098802365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can sometimes report perturbations to their internal activations---even when the input provides no evidence that an intervention occurred. How do models detect and localize such internal changes? We study this question using a controlled task that keeps the input text fixed. We either inject a concept vector into the hidden state at one of ten token positions or apply no intervention. The model is asked to identify the perturbed position or report that no intervention occurred. Across three model families, we identify two small groups of attention heads with distinct roles in introspective reporting. Middle-layer gate heads influence whether the model reports a change, while router heads in a later layer help select the position to report. Interventions on gate heads can suppress position reports even when router heads supply location information. We further examine why reporting accuracy varies across concepts. Concept vectors that are localized more accurately produce stronger attention-score and output responses in gate heads, which is associated with better alignment of the induced key and value changes in their QK and OV computations. Together, these findings identify attention-head mechanisms supporting introspective detection and localization.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、インプットが介入が発生した証拠を提供しなくても、内部のアクティベーションに摂動を報告することができる。 モデルがどのように内部変化を検出し、ローカライズするか? 本稿では,入力テキストを固定する制御タスクを用いて,この問題について検討する。 概念ベクトルを10のトークン位置の1つで隠された状態に注入するか、介入しないかのどちらかです。 モデルは、混乱した位置を特定したり、介入が起こらないことを報告するよう求められます。 3つのモデル群にまたがって,イントロスペクティブ・レポーティングにおいて異なる役割を担っている2つの小さなアテンション・ヘッドを同定した。 中層ゲートヘッドはモデルが変更を報告するかどうかに影響を与えるが、後層のルータヘッドは報告する位置を選択するのに役立つ。 ゲートヘッドへの干渉は、ルータヘッドが位置情報を供給している場合でも位置報告を抑えることができる。 さらに,レポートの精度が概念によって異なる理由についても検討する。 より正確にローカライズされた概念ベクトルは、誘導鍵のアライメントとQKおよびOV計算の値変化と関連するゲートヘッドにおけるより強い注意スコアと出力応答を生成する。 これらの知見は,内観的検出と局所化を支援する注意頭機構を同定した。

関連論文リスト

• Self-Reports Do Not Identify Self-Models: An Identifiability Test for Counterfactual Reports [0.6882042556551609]
  言語モデル自己報告(Language-model self-reports)は、自己モデルそのものの証拠ではなく、迅速な環境における行動に関する証拠である。 本研究では、アクティベーション介入中の情緒的状態に関する事実報告を調査し、実演環境が変化しても、その報告が名前の介入に結びついているかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-26T10:32:34Z)
• Backdoor Directions in Vision Transformers [56.382912038371046]
  本稿では,視覚変換器(ViT)におけるバックドアアタックの表現方法について検討する。 我々は、トリガーの内部表現に対応するモデルのアクティベーションにおいて、特定のトリガー方向'を識別する。 この方向を診断ツールとして使用して、バックドア機能が層間でどのように処理されるかを追跡する。
  論文  参考訳（メタデータ） (2026-03-11T14:13:48Z)
• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• Mechanistic Exploration of Backdoored Large Language Model Attention Patterns [0.0]
  大規模言語モデル(LLM)において'sleeper agent'を作成するバックドア攻撃は、重大な安全性のリスクを生じさせる。 本研究は, 内部構造の違いを解明するために, 機械的解釈可能性を用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:57:17Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• On the Importance of Local Information in Transformer Based Models [19.036044858449593]
  自己保持モジュールはTransformerベースのモデルのキーコンポーネントである。 最近の研究では、これらの頭は統語的、意味的、または局所的な行動を示すことが示されている。 その結果, 頭部の局所性バイアスは, 統語的バイアスに比べて大きいことが判明した。
  論文  参考訳（メタデータ） (2020-08-13T11:32:47Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。