論文の概要: Circuit-Diff: Factual Edit-based Intervention Method for Localizing Knowledge in Attribution Graphs

• arxiv url: http://arxiv.org/abs/2609.23892v1
• Date: Sun, 20 Sep 2026 21:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.014242
• Title: Circuit-Diff: Factual Edit-based Intervention Method for Localizing Knowledge in Attribution Graphs
• Title（参考訳）: Circuit-Diff: 属性グラフにおける知識の局所化のためのFactual Edit-based Intervention Method
• Abstract要約: 帰属グラフを生成することによってモデルの回路を近似する方法として、クロス層トランスコーダ(CLT)を導入した。 Circuit-Diffは、低ランクの事実編集でモデル自体に介入し、その編集の下で属性グラフが変化する特徴を、編集された知識に関連するものとして取り込む。 我々は,本手法を定式化し,凍結したCLTが実際の編集後にどれだけ信頼できるかを測定し,最大24個のCounterFact編集にパッチを当てて,選択したノードを因果的にテストし,ケーススタディを行い,回路トラッカーパッケージ上に構築されたオープンソース実装をリリースする。
• 参考スコア（独自算出の注目度）: 5.455005424174374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability defines features as the fundamental units of a neural network and circuits as the weighted subgraphs that carry out its computation. Because individual neurons are polysemantic, Cross-Layer Transcoders (CLTs) were introduced as a way to approximate a model's circuits by generating an attribution graph. The nodes of that graph, however, are unlabeled features: reading a graph means pruning it and then working out by hand what each surviving node means. To make CLTs easier to use for circuit discovery, we introduce Circuit-Diff, which intervenes on the model itself with a low-rank factual edit and takes the features whose role in the attribution graph changes under that edit as related to the edited knowledge. On the edits we examine, the flagged nodes are not only detectors of the object token: read off the CLT's released feature dashboards, they include features for the history, geography and associations surrounding the old and new objects. We formalize the method, measure how reliable a frozen CLT remains after a factual edit, test the selected nodes causally by patching them on up to 24 CounterFact edits, give a case study, and release an open-source implementation built on the circuit-tracer package, together with two further tools (multi-prompt aggregation and rule-based supernode labeling).
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、特徴をニューラルネットワークの基本単位として定義し、回路を計算を実行する重み付き部分グラフとして定義する。 個々のニューロンは多意味であるため、帰属グラフを生成することによってモデルの回路を近似する方法としてCLT(Cross-Layer Transcoders)が導入された。 しかし、グラフのノードはラベル付けされていない機能である。グラフを読むことはそれを刈り取ることを意味し、生き残ったノードが持つ意味を手作業で解決する。 CLTを回路探索に使いやすくするために、Circuit-Diffを導入し、低ランクの事実編集でモデル自体に介入し、その編集の下で属性グラフが変化する特徴を編集知識に関連付ける。 私たちが検討した編集では、フラグ付きノードはオブジェクトトークンの検出器であるだけでなく、CLTがリリースしたフィーチャーダッシュボードを読み上げ、古いオブジェクトや新しいオブジェクトを取り巻く歴史、地理、関連性といった機能を含んでいる。 我々は,本手法を定式化し,凍結したCLTが実際の編集後にどれだけ信頼できるかを測定し,最大24個のCounterFact編集にパッチを当て,ケーススタディを行い,さらに2つのツール(マルチプロンプトアグリゲーションとルールベースのスーパーノードラベリング)とともにサーキットトラサーパッケージ上に構築されたオープンソース実装をリリースする。

関連論文リスト

• How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution [49.01642339390897]
  CTA(Concept-Targeted Attribution)は、線形プローブ方向に関する属性グラフを訓練する。 CTAは、なぜ内部概念表現がプロンプトに現れるのかを説明するプローブ固有の回路を生成する。
  論文  参考訳（メタデータ） (2026-08-27T08:12:49Z)
• Operational Feature Fingerprints of Graph Datasets via a White-Box Signal-Subspace Probe [0.3058685580689604]
  予測およびグラフデータセット診断のためのホワイトボックス信号サブスペースプローブであるWG-SRCを提案する。 学習したメッセージパッシングを、生の特徴を含む固定された名前のグラフ署名辞書に置き換える。 ホワイトボックスグラフ学習装置として、WG-SRCは予測性能を使用して診断の検証を行う。
  論文  参考訳（メタデータ） (2026-04-24T16:00:53Z)
• Forget and Explain: Transparent Verification of GNN Unlearning [3.0152570264250347]
  削除前後のモデルをスナップショット化するGNNアンラーニングのための説明可能性駆動型検証器を提案する。 我々は5つのベンチマークで2つのバックボーン(GCN, GAT)と4つのアンラーニング戦略(Retrain, GraphEditor, GNNDelete, IDEA)を評価した。 結果は、RetrainとGNNDeleteがほぼ完全なリフレッシュを実現し、GraphEditorが部分消去を提供し、IDEAが残余信号を残していることを示している。
  論文  参考訳（メタデータ） (2025-12-08T11:25:19Z)
• Automatically Identifying Local and Global Circuits with Linear Computation Graphs [45.760716193942685]
  Sparse Autoencoders (SAEs) と Transcoders と呼ばれる変種を用いた回路発見パイプラインを導入する。 本手法は各ノードの因果効果を計算するために線形近似を必要としない。 GPT-2 Small: Bracket, induction, Indirect Object Identification circuits の3種類の回路を解析する。
  論文  参考訳（メタデータ） (2024-05-22T17:50:04Z)
• Cell Graph Transformer for Nuclei Classification [78.47566396839628]
  我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。 不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。 グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T12:01:30Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Structural Temporal Graph Neural Networks for Anomaly Detection in Dynamic Graphs [54.13919050090926]
  本稿では,動的グラフの異常エッジを検出するために,エンドツーエンドの時間構造グラフニューラルネットワークモデルを提案する。 特に,まずターゲットエッジを中心にした$h$ホップ囲むサブグラフを抽出し,各ノードの役割を識別するノードラベル機能を提案する。 抽出した特徴に基づき,GRU(Gated Recurrent Unit)を用いて,異常検出のための時間的情報を取得する。
  論文  参考訳（メタデータ） (2020-05-15T09:17:08Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。