論文の概要: PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization

• arxiv url: http://arxiv.org/abs/2510.23264v1
• Date: Mon, 27 Oct 2025 12:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.544801
• Title: PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization
• Title（参考訳）: PAHQ:Mixed-Precision Inference Optimizationによる自動回路発見の高速化
• Authors: Xinhai Wang, Shu Yang, Liangyu Wang, Lin Zhang, Huanyi Xie, Lijie Hu, Di Wang,
• Abstract要約: サーキットディスカバリー(ACDC)は、サーキットディスカバリーにおける重要な方法論として登場した。 しかし、その大規模言語モデルへの適用は、計算の非効率さと極めて高いメモリ要求によって著しく制限されている。 提案手法は,各パッチ処理の効率を最適化し,本手法を根本的に異なるアプローチで提案する。
• 参考スコア（独自算出の注目度）: 17.316927027489506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Circuit discovery, which involves identifying sparse and task-relevant subnetworks in pre-trained language models, is a cornerstone of mechanistic interpretability. Automated Circuit Discovery (ACDC) has emerged as a pivotal methodology in circuit discovery, but its application to large language models is severely limited by computational inefficiency and prohibitively high memory requirements. Although several accelerated approaches have been proposed, they primarily rely on linear approximations to ACDC, which significantly compromises analytical faithfulness. Our proposed method for accelerating automated circuit discovery, Per Attention Head Quantization (PAHQ), takes a fundamentally different approach by optimizing the efficiency of each individual patching operation. PAHQ leverages a fundamental alignment between activation patching and mixed-precision quantization (MPQ): interpretability analysis through patching essentially performs targeted ablation studies. Therefore, we can maintain high precision exclusively for investigated components while safely reducing precision elsewhere in the network. PAHQ-accelerated ACDC reduces runtime by up to 80\% and memory consumption by up to 30\% compared to unaccelerated ACDC while maintaining faithfulness. Importantly, our method readily integrates with existing edge-based circuit discovery techniques by modifying the attention computation mechanism. This training-free approach provides a practical and novel pathway for accelerating mechanistic interpretability methods. Our code is available at https://github.com/626619403/PAHQ.
• Abstract（参考訳）: 事前訓練された言語モデルにおけるスパースおよびタスク関連サブネットワークの同定を含む回路発見は、機械的解釈可能性の基盤となる。 ACDC (Automated Circuit Discovery) は、回路発見における重要な方法論として登場したが、大規模言語モデルへの応用は、計算の非効率性やメモリ要求の禁止によって著しく制限されている。 いくつかの加速されたアプローチが提案されているが、主にACDCに対する線形近似に依存しており、解析的忠実さを著しく損なう。 提案手法は,各パッチ処理の効率を最適化し,本手法を根本的に異なるアプローチで提案する。 PAHQは、アクティベーションパッチと混合精度量子化(MPQ)の基本的な整合性を利用する。 したがって、ネットワーク内の他の場所での精度を安全に低減しつつ、調査対象のコンポーネントのみに高い精度を維持できる。 PAHQが加速するACDCは、信頼性を維持しながら、実行を最大80 %、メモリ消費を最大30 %削減する。 重要なことに,本手法はアテンション計算機構を改良することにより,既存のエッジベース回路発見技術と容易に統合できる。 このトレーニングフリーアプローチは、機械的解釈可能性法を加速するための実用的で斬新な経路を提供する。 私たちのコードはhttps://github.com/6266 19403/PAHQ.comから入手可能です。

関連論文リスト

• Discovering Transformer Circuits via a Hybrid Attribution and Pruning Framework [4.336808542533343]
  本研究は,属性パッチを用いて高電位部分グラフを同定するハイブリッド属性・プルーニングフレームワークを提案する。 回路忠実度を犠牲にすることなく,HAPはベースラインアルゴリズムよりも46%高速であることを示す。
  論文  参考訳（メタデータ） (2025-09-28T18:34:43Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Attribution Patching Outperforms Automated Circuit Discovery [3.8695554579762814]
  帰属パッチに基づく単純な手法が,既存の手法よりも優れていることを示す。 演算サブグラフにおける各エッジの重要性を推定するために、線形近似をアクティベーションパッチに適用する。
  論文  参考訳（メタデータ） (2023-10-16T12:34:43Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Learnable Faster Kernel-PCA for Nonlinear Fault Detection: Deep Autoencoder-Based Realization [7.057302509355857]
  カーネル主成分分析(KPCA)は、よく認識される非線形次元減少法である。 そこで本研究では,従来のKPCAのより高速な実現法を提案する。 提案したDAE-PCA法は, KPCAと等価であることが証明されているが, 入力に応じて最適な非線形高次元空間の自動探索において, より有利である。
  論文  参考訳（メタデータ） (2021-12-08T09:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。