論文の概要: Multi-Granular Node Pruning for Circuit Discovery

• arxiv url: http://arxiv.org/abs/2512.10903v1
• Date: Thu, 11 Dec 2025 18:32:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.527081
• Title: Multi-Granular Node Pruning for Circuit Discovery
• Title（参考訳）: 回路発見のためのマルチグラニュラーノードプルーニング
• Authors: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, A. B. Siddique,
• Abstract要約: 回路探索のためのノードレベルのプルーニングフレームワークを提案する。 本手法は学習可能なマスクを多段階の粒度で導入する。 本手法はメモリの動作に中間的なアクティベーションを保持する必要がないため,メモリフットプリントを5～10倍小さくする。
• 参考スコア（独自算出の注目度）: 5.606576692008564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Circuit discovery aims to identify minimal subnetworks that are responsible for specific behaviors in large language models (LLMs). Existing approaches primarily rely on iterative edge pruning, which is computationally expensive and limited to coarse-grained units such as attention heads or MLP blocks, overlooking finer structures like individual neurons. We propose a node-level pruning framework for circuit discovery that addresses both scalability and granularity limitations. Our method introduces learnable masks across multiple levels of granularity, from entire blocks to individual neurons, within a unified optimization objective. Granularity-specific sparsity penalties guide the pruning process, allowing a comprehensive compression in a single fine-tuning run. Empirically, our approach identifies circuits that are smaller in nodes than those discovered by prior methods; moreover, we demonstrate that many neurons deemed important by coarse methods are actually irrelevant, while still maintaining task performance. Furthermore, our method has a significantly lower memory footprint, 5-10x, as it does not require keeping intermediate activations in the memory to work.
• Abstract（参考訳）: サーキットディスカバリは、大規模言語モデル(LLM)の特定の振る舞いに責任を持つ最小限のサブネットワークを特定することを目的としている。 既存のアプローチは主に反復的エッジプルーニング(英語版)に依存しており、これは計算的に高価であり、個々のニューロンのようなより微細な構造を見渡すために、注意ヘッドやMLPブロックのような粗い粒度の単位に制限されている。 本稿では,回路探索のためのノードレベルのプルーニングフレームワークを提案する。 本手法では,ブロック全体から個々のニューロンまで,複数レベルの学習可能なマスクを統一最適化の対象として導入する。 粒度固有のスパーシリティの罰則は、刈り込み過程をガイドし、単一の微調整実行において包括的な圧縮を可能にする。 提案手法は,従来の手法に比べてノードが小さい回路を実証し,さらに,粗い手法によって重要視されるニューロンの多くが,タスク性能を保ちながら,実際には無関係であることを示す。 さらに,本手法では,メモリの中間活性化を動作させる必要がないため,メモリフットプリントが5～10倍に低下する。

関連論文リスト

• Scalable iterative pruning of large language and vision models using block coordinate descent [0.31410859223862103]
  重みの一部を除去するプルーニングニューラルネットワークは、しばしば高い精度を維持しながら、少なくとも一定の限界まで、モデルの複雑さを著しく低減する。 本稿では,Y Combinatorial Brain Surgeonに基づくニューラルネットワークのプルーニング手法を提案するが,ネットワーク重みのサブセットに対する最適化問題を反復的,ブロック的に解決する。
  論文  参考訳（メタデータ） (2024-11-26T17:54:02Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Neural Networks Reduction via Lumping [0.0]
  操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。 これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。 データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:13:07Z)
• Receding Neuron Importances for Structured Pruning [11.375436522599133]
  構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。 境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。 我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:27Z)
• Few-Bit Backward: Quantized Gradients of Activation Functions for Memory Footprint Reduction [4.243810214656324]
  メモリフットプリントは、大規模なニューラルネットワークトレーニングの主要な制限要因のひとつだ。 本稿では, 点次非線形関数の残留勾配の最適量子化を計算するための体系的手法を提案する。 このような近似は、活性化関数の微分の最適一貫した近似を計算することで実現できることを示す。
  論文  参考訳（メタデータ） (2022-02-01T14:51:38Z)
• Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
  クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。 本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。 ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2021-12-03T14:23:05Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。