論文の概要: APP: Accelerated Path Patching with Task-Specific Pruning

• arxiv url: http://arxiv.org/abs/2511.05442v1
• Date: Fri, 07 Nov 2025 17:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.848361
• Title: APP: Accelerated Path Patching with Task-Specific Pruning
• Title（参考訳）: APP: Task-Specific Pruningによるアクセラレーションパスのパッチング
• Authors: Frauke Andersen, William Rudman, Ruochen Zhang, Carsten Eickhoff,
• Abstract要約: パスパッチングのような現在の手法は計算コストが高く、より小さなモデルでは深い回路分析が限られている。 我々は,新しいコントラストアテンション・ヘッド・プルーニング手法を利用したハイブリッドアプローチであるAccelerated Path Patching (APP)を提案する。 APPはまずContrastive-FLAPを適用し、回路探索アルゴリズムに必要な検索スペースを平均56%削減する。
• 参考スコア（独自算出の注目度）: 28.510088923441078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Circuit discovery is a key step in many mechanistic interpretability pipelines. Current methods, such as Path Patching, are computationally expensive and have limited in-depth circuit analysis for smaller models. In this study, we propose Accelerated Path Patching (APP), a hybrid approach leveraging our novel contrastive attention head pruning method to drastically reduce the search space of circuit discovery methods. Our Contrastive-FLAP pruning algorithm uses techniques from causal mediation analysis to assign higher pruning scores to task-specific attention heads, leading to higher performing sparse models compared to traditional pruning techniques. Although Contrastive-FLAP is successful at preserving task-specific heads that existing pruning algorithms remove at low sparsity ratios, the circuits found by Contrastive-FLAP alone are too large to satisfy the minimality constraint required in circuit analysis. APP first applies Contrastive-FLAP to reduce the search space on required for circuit discovery algorithms by, on average, 56\%. Next, APP, applies traditional Path Patching on the remaining attention heads, leading to a speed up of 59.63\%-93.27\% compared to Path Patching applied to the dense model. Despite the substantial computational saving that APP provides, circuits obtained from APP exhibit substantial overlap and similar performance to previously established Path Patching circuits
• Abstract（参考訳）: 回路発見は多くの機械的解釈可能性パイプラインにおいて重要なステップである。 パスパッチングのような現在の手法は計算コストが高く、より小さなモデルでは深い回路分析が限られている。 本研究では,回路発見手法のサーチスペースを大幅に削減するために,新しいコントラストアテンションヘッドプルーニング手法を利用したハイブリッド手法であるAccelerated Path Patching (APP)を提案する。 我々のコントラスト-FLAPプルーニングアルゴリズムは、因果媒介分析の手法を用いて、タスク固有のアテンションヘッドにより高いプルーニングスコアを割り当て、従来のプルーニング手法と比較して高いパフォーマンスのスパースモデルをもたらす。 Contrastive-FLAPは、既存のプルーニングアルゴリズムが低空間比で除去するタスク固有ヘッドの保存に成功しているが、Contrastive-FLAP単独の回路は、回路解析に必要な最小限の制約を満たすには大きすぎる。 APP はまず Contrastive-FLAP を用いて,回路探索アルゴリズムに必要な検索スペースを平均 56 % 削減する。 次に、APPは従来のPath Patchingを残りの注目ヘッドに適用し、高密度モデルに適用されたPath Patchingと比較して59.63\%-93.27\%の速度に向上した。 APPが提供するかなりの計算節約にもかかわらず、APPから得られた回路は、以前に確立されたパスパッチ回路と大幅に重複し、類似した性能を示す。

関連論文リスト

• PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization [17.316927027489506]
  サーキットディスカバリー(ACDC)は、サーキットディスカバリーにおける重要な方法論として登場した。 しかし、その大規模言語モデルへの適用は、計算の非効率さと極めて高いメモリ要求によって著しく制限されている。 提案手法は,各パッチ処理の効率を最適化し,本手法を根本的に異なるアプローチで提案する。
  論文  参考訳（メタデータ） (2025-10-27T12:24:14Z)
• ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
  テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。 木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。 本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:30:38Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Attribution Patching Outperforms Automated Circuit Discovery [3.8695554579762814]
  帰属パッチに基づく単純な手法が,既存の手法よりも優れていることを示す。 演算サブグラフにおける各エッジの重要性を推定するために、線形近似をアクティベーションパッチに適用する。
  論文  参考訳（メタデータ） (2023-10-16T12:34:43Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。