論文の概要: How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution

• arxiv url: http://arxiv.org/abs/2608.27510v1
• Date: Thu, 27 Aug 2026 08:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.092244
• Title: How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution
• Title（参考訳）: リニアプローブの創出法 : 概念目標属性を用いた回路トラッキングフレームワーク
• Abstract要約: CTA(Concept-Targeted Attribution)は、線形プローブ方向に関する属性グラフを訓練する。 CTAは、なぜ内部概念表現がプロンプトに現れるのかを説明するプローブ固有の回路を生成する。
• 参考スコア（独自算出の注目度）: 49.01642339390897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transcoder attribution graphs are usually trained to explain why a model assigns high probability to a particular next token. We introduce Concept-Targeted Attribution (CTA), which instead trains attribution graphs with respect to a linear probe direction. CTA therefore yields probe-specific circuits that explain why an internal concept representation arises in a prompt, independently of whether it is expressed in the generated token. Using Cross-Layer Transcoders, we show that these probe-targeted graphs contain predictive structure: graph-level features predict probe accuracy across four widely studied concept categories ($ρ= 0.91$, $R^2 = 0.84$), while local features identify the sparse components driving per-prompt classification. This connects probe performance to interpretable circuit structure, allowing us to ask not only whether a probe works, but which internal computations make it work. Causal ablations further show that probe-targeted and logit-targeted graphs capture functionally distinct mechanisms. Removing probe-relevant features reduces internal concept scores while largely preserving generated tokens, whereas removing logit-relevant features changes the generated token in 92% to 100% of cases with near-zero effect on probe scores. CTA provides a framework for moving from behavioral probe accuracy to mechanistic explanations of probe performance, enabling more detailed audits of internal concept representations, including safety-critical ones. Our code is available at https://github.com/vedantpalit/concept-targeted-attribution
• Abstract（参考訳）: トランスコーダ属性グラフは通常、モデルが特定の次のトークンに高い確率を割り当てる理由を説明するために訓練される。 本稿では,線形プローブ方向に対して帰属グラフを訓練する概念目標属性(Concept-Targeted Attribution, CTA)を紹介する。 したがって、CTAは、内部概念表現が生成したトークンに表現されているかどうかに関わらず、なぜプロンプトに現れるのかを説明するプローブ固有の回路を生成する。 グラフレベルの特徴は、広く研究されている4つの概念カテゴリ(ρ = 0.91$, $R^2 = 0.84$)でプローブ精度を予測し、局所的な特徴は、プロンプトごとの分類を駆動するスパース成分を特定する。 これにより、プローブ性能を解釈可能な回路構造に接続し、プローブが機能するかどうかだけでなく、どの内部計算が機能するかを問うことができる。 因果解法はさらに、プローブ目標グラフとロジット目標グラフが機能的に異なるメカニズムを捉えていることを示している。 プローブ関連特徴の除去は、内部概念スコアを減少させ、生成トークンを大部分が保存する一方、ロジット関連特徴の除去は、プローブスコアにほぼゼロ効果のあるケースの92%から100%で生成トークンを変更する。 CTAは、行動プローブの精度から、プローブ性能の機械的説明に移行するためのフレームワークを提供する。 私たちのコードはhttps://github.com/vedantpalit/concept-targeted-attributionで利用可能です。

関連論文リスト

• Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling [13.408937731789814]
  イベントアライメント,固定水平角変位を解釈可能な事象条件運動語彙として定式化する。 我々は、事象のみ、空間的、絶対角、学習されたベクトル量子化、連続表現と比較する。 角運動トークンは1つの転送方向の凍結符号VQトークンよりも目標ドメインの後悔度が低いことを示す。
  論文  参考訳（メタデータ） (2026-08-24T08:00:23Z)
• Interactions Between Crosscoder Features: A Compact Proofs Perspective [2.8682099615858156]
  モデル性能のコンパクトな証明をクロスコーダを用いて構築する方法を示す。 この証明で生じる誤り項は、クロスコーダの特徴間の相互作用の尺度として自然に解釈できることを示す。 次に、相互作用尺度によるクラスタリングが意味論的に意味のある特徴クラスタを提供することを示す。
  論文  参考訳（メタデータ） (2026-06-08T00:15:44Z)
• ADAG: Automatically Describing Attribution Graphs [50.460651620833055]
  完全自動化されたこれらの属性グラフを記述するためのエンドツーエンドパイプラインである textbfADAG を導入する。 次に、特徴群をグループ化するための新しいクラスタリングアルゴリズムと、これらの特徴群の機能的役割に関する自然言語的説明を生成・スコアするLLM説明器-シミュレータ構成を導入する。 我々は、既知の人為的な回路追跡タスクでシステムを実行し、解釈可能な回路を復元し、さらに、Llama 3.1 8Bインストラクトにおける有害なアドバイスジェイルブレイクの原因となる、ステアブルクラスタを見つけることができることを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:34:37Z)
• CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
  本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。 複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。 Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
  論文  参考訳（メタデータ） (2026-02-06T03:49:15Z)
• Automated Circuit Interpretation via Probe Prompting [0.0]
  本稿では、帰属グラフをコンパクトで解釈可能な部分グラフに変換する自動パイプラインであるプローブプロンプトを提案する。 5つのプロンプトにまたがって、プローブプロンプトされたサブグラフは、複雑さを圧縮しながら高い説明的カバレッジを保っている。 幾何学的クラスタリングベースラインと比較すると、概念整列群はより高い行動コヒーレンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T11:53:36Z)
• Probing the Probes: Methods and Metrics for Concept Alignment [0.0]
  高いプローブ精度は、目標概念を忠実に表すCAVを示すと広く仮定されている。 我々は、プローブの分類精度のみが、概念アライメントの信頼性の低い尺度であることを示した。 本稿では,空間的線形属性に基づく新しい概念ローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2025-11-06T12:34:05Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Efficient Computation of Counterfactual Bounds [44.4263314637532]
  我々は,構造因果モデルのサブクラスにおけるクレダルネットのアルゴリズムを用いて,正確な反ファクト境界を計算する。 近似の精度を信頼性のある間隔で評価する。
  論文  参考訳（メタデータ） (2023-07-17T07:59:47Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Should Graph Convolution Trust Neighbors? A Simple Causal Inference Method [114.48708191371524]
  グラフ畳み込みネットワーク(GCN)は情報検索(IR)アプリケーションのための新興技術である。 この研究は、ほとんど精査されていないテストノードの局所的な構造差に焦点を当てている。 本稿では,GCNの動作メカニズムを因果グラフを用いて解析し,ノードの局所構造による因果効果を推定する。
  論文  参考訳（メタデータ） (2020-10-22T15:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。