論文の概要: Attention as a Routing Graph: Live Circuit Extraction from a Single Forward Pass

• arxiv url: http://arxiv.org/abs/2609.25285v1
• Date: Mon, 21 Sep 2026 18:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.082072
• Title: Attention as a Routing Graph: Live Circuit Extraction from a Single Forward Pass
• Title（参考訳）: ルーティンググラフとしての注意:シングルフォワードパスからのライブ回路抽出
• Abstract要約: GPT-2 Small, GPT-2 Medium, Pythia-410Mにおいて, 細胞毎のn=100プロンプトを評価した。 私たちは、既知のタスクに本当の因果シグナルを伝達する安価なスケッチを主張しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding circuits in language models usually means running many careful interventions. We try something simpler: treat attention as a routing map from one forward pass, keep a small set of routes that point toward the answer, and ask whether those routes actually matter. They often do. On induction and IOI (tasks where the "right" circuit is already known), ablating our extracted edges hurts the model much more than ablating a random set of the same size. We evaluate n=100 prompts per cell on GPT-2 Small, GPT-2 Medium, and Pythia-410M, with paired gap tests and bootstrap confidence intervals. The extract step costs one forward; a head-by-head patch sweep costs about two orders of magnitude more. We are not claiming a complete circuit atlas. We are claiming a cheap sketch that carries real causal signal on known tasks, with clear failure modes when it does not. Code and evaluation artifacts are at https://github.com/Aquinf03/live-circuit-routing.
• Abstract（参考訳）: 言語モデルで回路を見つけることは、通常、多くの注意深い介入を実行することを意味する。 注意を前方のパスからのルーティングマップとして扱い、答えを指示するルートの小さなセットを保持し、それらのルートが実際に重要であるかどうかを問うのです。 彼らはよくやります。 誘導とIOI(右の回路が既に知られているタスク)について、抽出したエッジを非難することは、同じサイズのランダムなセットを非難するよりもモデルを傷つける。 我々は,GPT-2 Small, GPT-2 Medium, Pythia-410Mの1セルあたりのn=100プロンプトをペアギャップ試験とブートストラップ信頼間隔で評価した。 抽出工程は1歩の費用がかかるが、ヘッド・バイ・ヘッドのパッチ・スイープは2桁のコストがかかる。 私たちは完全なサーキットアトラスを主張していません。 私たちは、既知のタスクに本当の因果シグナルを伝達する安価なスケッチを主張しています。 コードと評価アーティファクトはhttps://github.com/Aquinf03/live-circuit-routingにある。

関連論文リスト

• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms [35.514624827207136]
  エッジ属性パッチ(EAP: Edge Attribution patching)は、介入に対する勾配に基づく近似であり、この問題に対するスケーラブルだが不完全な解決策として現れている。 本稿では,回路のコア特性をよりよく維持することを目的とした,統合勾配付きEAP(EAP-IG)手法を提案する。 EAPを用いた回路はEAP-IGを用いた回路に比べて信頼性が低いことを示した。
  論文  参考訳（メタデータ） (2024-03-26T15:44:58Z)
• PreRoutGNN for Timing Prediction with Order Preserving Partition: Global Circuit Pre-training, Local Delay Learning and Attentional Cell Modeling [84.34811206119619]
  本稿では,事前のタイミング予測に対する2段階のアプローチを提案する。 まず、回路網リストからグローバルグラフ埋め込みを学習するグラフオートエンコーダを事前学習するためのグローバル回路トレーニングを提案する。 第2に、GCN上のメッセージパッシングのための新しいノード更新方式を、学習したグラフ埋め込みと回路グラフのトポロジ的ソートシーケンスに従って使用する。 21個の実世界の回路の実験では、スラック予測のための新しいSOTA R2が0.93で達成され、以前のSOTA法では0.59をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T02:23:07Z)
• On the realistic worst case analysis of quantum arithmetic circuits [69.43216268165402]
  量子回路の設計における直観は誤解を招く可能性があることを示す。 また,T数を減らすことで,全深度を増大させることができることを示した。 リップルキャリーを用いた加算回路と乗算回路について述べる。
  論文  参考訳（メタデータ） (2021-01-12T21:36:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。