論文の概要: Circuit Condensation: Post-Training that Concentrates a Behavior's Causal Circuit

• arxiv url: http://arxiv.org/abs/2608.27254v1
• Date: Thu, 27 Aug 2026 15:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.472521
• Title: Circuit Condensation: Post-Training that Concentrates a Behavior's Causal Circuit
• Title（参考訳）: 回路凝縮:行動の因果回路を集中させる後訓練
• Abstract要約: より小さな因果グラフに振舞いを集中させる回路凝縮法を提案する。 4つの動作と8つのモデルにまたがって、凝縮回路は32セット中30セットにおいて最強の凍結ベースラインよりも小さい。 重み付けの更新なしに検索を繰り返すと、32設定中29でより大きな回路が生成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One approach to mechanistic interpretability explains behavior through circuits: the components and connections that carry it. Frozen discovery often returns hundreds of edges, making them hard to inspect, compare, or verify exhaustively. We introduce Circuit Condensation, which post-trains models to concentrate behaviors into smaller causal graphs. Each round prunes low-attribution edges and trains a low-rank adapter to match the original through what remains, retaining the cut only if task performance and general capability survive. Across four behaviors and eight models, condensed circuits are smaller than the strongest frozen baseline in 30 of 32 settings, by $8.1\times$ on average and up to $316\times$. Repeating the search without weight updates produces larger circuits in 29 of 32 settings, showing that weight updates, rather than search alone, drive the reduction. Testing every subset of 19 circuits finds 11 that cannot be reduced and reveals removable edges in the rest. Pair ablations expose dependencies between edges, showing that their effects cannot be understood independently. On indirect object identification, condensation isolates 24 heads, 17 of them with documented roles, against 61 heads and 36 undocumented ones for the matched frozen circuit: a sufficient sub-circuit of the published mechanism rather than a reconstruction of it. The resulting circuit tracks the original model's next-token distribution and predicts its errors.
• Abstract（参考訳）: 機械的解釈可能性の1つのアプローチは、回路を通しての振る舞い、すなわちそれを運ぶコンポーネントと接続を説明する。 凍った発見はしばしば数百のエッジを返すため、徹底的に検査、比較、検証が困難になる。 本稿では,より小さな因果グラフに振舞いを集中させるために,学習後モデルを構築するサーキット・コンデンセーションを提案する。 各ラウンドはローアトリビューションエッジを出力し、元のものと一致するように低ランクのアダプタを訓練し、タスクパフォーマンスと一般的な能力が残っている場合にのみカットを保持する。 4つの動作と8つのモデルにまたがって、凝縮回路は32セット中30セットで最強の冷凍ベースラインより小さく、平均8.1\times$、最大316\times$である。 重み付けをせずに検索を繰り返すと、32設定中29設定でより大きな回路が生成される。 19個の回路の全てのサブセットをテストすると、縮小できない11が見つかり、残りの部分で取り外し可能なエッジが明らかになる。 ペアアブレーションはエッジ間の依存関係を公開し、それらの効果を独立して理解できないことを示す。 間接的な物体識別では、コンデンサは24個のヘッド、17個のドキュメント化された役割を持ち、61個のヘッドと36個の未文書のフリーズ回路に対して分離する。 結果として得られた回路は、元のモデルの次のトーケン分布を追跡し、そのエラーを予測する。

関連論文リスト

• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• Circuit Claims Depend on What Is Extracted and How It Is Compared [10.373302428063091]
  保護動作は,どの回路が報告され,どのように2つの回路が比較されるかに依存するため,一つの回路を1つ残さない。 合成リーン戦術予測ベンチマークでこれを具体化する。 したがって、回路レベルのクレームは、どの回路が報告されたか、それを抽出するのに使用されるプルーニングしきい値、回路が比較されるレベルが1つある場合にのみ適切に定義される。
  論文  参考訳（メタデータ） (2026-07-21T10:04:29Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles [1.3011345529764784]
  そこで本研究では,CIRCUSが閾値ローバストな「コア」回路を生成できることを示す。 Gemma-2-2BとLlama-3.2-1Bでは、厳密なコンセンサス回路はコンストラクタの結合よりも40倍小さい。 我々はさらに,合意を確定したノードが非合意制御と一致しない場合に,アクティベーションパッチの因果関係を検証した。
  論文  参考訳（メタデータ） (2026-02-28T07:44:04Z)
• Certified Circuits: Stability Guarantees for Mechanistic Circuits [80.30622018787835]
  Certified Circuitsは、回路発見のための証明可能な安定性を保証する。 ImageNetとOODデータセットでは、認定回路は91%高い精度を達成する。
  論文  参考訳（メタデータ） (2026-02-26T13:07:31Z)
• Sparse Attention Post-Training for Mechanistic Interpretability [55.030850996535776]
  本稿では,トランスフォーマーの注意を犠牲にすることなく,簡易なポストトレーニング手法を提案する。 制約された余剰目的の下でフレキシブルな空間規則化を適用することで、1Bパラメータまでのモデルで、初期トレーニング損失を抑えつつ、注意接続性を$approx 0.3 %に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-12-05T16:40:08Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms [35.514624827207136]
  エッジ属性パッチ(EAP: Edge Attribution patching)は、介入に対する勾配に基づく近似であり、この問題に対するスケーラブルだが不完全な解決策として現れている。 本稿では,回路のコア特性をよりよく維持することを目的とした,統合勾配付きEAP(EAP-IG)手法を提案する。 EAPを用いた回路はEAP-IGを用いた回路に比べて信頼性が低いことを示した。
  論文  参考訳（メタデータ） (2024-03-26T15:44:58Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。