論文の概要: Sheaf Discovery with Joint Computation Graph Pruning and Flexible Granularity

• arxiv url: http://arxiv.org/abs/2407.03779v2
• Date: Mon, 29 Sep 2025 10:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.679744
• Title: Sheaf Discovery with Joint Computation Graph Pruning and Flexible Granularity
• Title（参考訳）: 共同計算グラフプルーニングとフレキシブルグラニュラリティを用いたシーフディスカバリ
• Authors: Lei Yu, Jingcheng Niu, Zining Zhu, Xi Chen, Gerald Penn,
• Abstract要約: ニューラルネットワークモデル(LM)から自己完結型モジュールユニットを抽出するフレームワークであるDiscoGPを紹介する。 筆者らのフレームワークは,両者をグラデーション・ベース・プルーニング・アルゴリズムを用いてせん断を同定し,この手法により元のLMを,特定のコア機能を保持するスパーススケルトンに還元する。
• 参考スコア（独自算出の注目度）: 18.71252449465396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce DiscoGP, a novel framework for extracting self-contained modular units, or sheaves, within neural language models (LMs). Sheaves extend the concept of functional circuits, a unit widely explored in interpretability research, by considering not only subsets of edges in an LM's computation graph but also the model's weight parameters. Our framework identifies sheaves through a gradient-based pruning algorithm that operates on both of these in such a way that reduces the original LM to a sparse skeleton that preserves certain core capabilities. Experimental results demonstrate that, across a range of linguistic and reasoning tasks, DiscoGP extracts sheaves that preserve 93%-100% of a model's performance on the identified task while comprising only 1%-7% of the original weights and connections. Furthermore, our analysis reveals that, compared to previously identified LM circuits, the sheaves discovered by DiscoGP exhibit superior modularity and functional fidelity. Extending our method to the neuron level also unveils novel insights into the inner workings of LLMs
• Abstract（参考訳）: 本稿では、ニューラルネットワークモデル(LM)内で自己完結型モジュラーユニットまたはシーブを抽出する新しいフレームワークであるDiscoGPを紹介する。 シーブスは、LMの計算グラフ内のエッジのサブセットだけでなく、モデルの重みパラメータも考慮することで、解釈可能性の研究で広く研究されている機能回路の概念を拡張した。 筆者らのフレームワークは,両者をグラデーション・ベース・プルーニング・アルゴリズムを用いてせん断を同定し,この手法により元のLMを,特定のコア機能を保持するスパーススケルトンに還元する。 実験結果から,DiscoGPは,特定タスクにおけるモデルの性能の93%-100%を保ったシーブを抽出し,本来の重みと接続の1%-7%に過ぎないことがわかった。 さらに, 従来同定されていたLM回路と比較して, DiscoGPで発見されたシーブは, より優れたモジュラリティと機能的忠実性を示した。 我々の手法をニューロンレベルまで拡張することで、LLMの内部動作に関する新たな洞察がもたらされる。

関連論文リスト

• Provable In-Context Learning of Nonlinear Regression with Transformers [58.018629320233174]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングダイナミクスを積極的に探求している。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates [31.608080868988825]
  論理ゲートはAND,OR,ADDERの3種類の論理ゲートを導入し,回路を論理ゲートの組み合わせに分解する。 本稿では,既存の回路発見手法に容易に組み込むことが可能な,ノイズ発生に基づく介入と雑音発生に基づく介入を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T07:35:14Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• EAP-GP: Mitigating Saturation Effect in Gradient-based Automated Circuit Identification [62.611812892924156]
  飽和効果に対応するために,GradPath (EAP-GP) を用いたエッジパッチを提案する。 EAP-GPは、入力から始まり、飽和領域を避けるために、破損した入力とクリーン入力の勾配の違いの方向を適応的に追従する積分経路を導入する。 GPT-2 Small, GPT-2 Medium, GPT-2 XL を用いた6つのデータセットの EAP-GP の評価を行った。
  論文  参考訳（メタデータ） (2025-02-07T16:04:57Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Adaptive Circuit Behavior and Generalization in Mechanistic Interpretability [3.138731415322007]
  GPT-2小領域における間接物体識別(IOI)回路の汎用性について検討する。 その結果、回路は驚くほどよく一般化し、全ての部品と機構を再利用し、入力エッジを追加するだけでよいことがわかった。
  論文  参考訳（メタデータ） (2024-11-25T05:32:34Z)
• Transformer Circuit Faithfulness Metrics are not Robust [0.04260910081285213]
  回路の「忠実さ」を、モデルの計算の一部を損なうことによって測定する。 既存の回路忠実度スコアは、研究者の方法論的選択と回路の実際の構成要素の両方を反映していると結論付けている。 機械的解釈可能性の研究の最終的な目標は、ニューラルネットワークを理解することです。
  論文  参考訳（メタデータ） (2024-07-11T17:59:00Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• CIRCUITSYNTH: Leveraging Large Language Models for Circuit Topology Synthesis [7.131266114437393]
  有効な回路トポロジの自動合成を容易にするためにLCMを利用する新しい手法であるCIRCUITSYNTHを導入する。 提案手法は,回路効率の向上と出力電圧の特定を目的とした今後の研究の基盤となる。
  論文  参考訳（メタデータ） (2024-06-06T01:59:59Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Attribution Patching Outperforms Automated Circuit Discovery [3.8695554579762814]
  帰属パッチに基づく単純な手法が,既存の手法よりも優れていることを示す。 演算サブグラフにおける各エッジの重要性を推定するために、線形近似をアクティベーションパッチに適用する。
  論文  参考訳（メタデータ） (2023-10-16T12:34:43Z)
• Adaptive Planning Search Algorithm for Analog Circuit Verification [53.97809573610992]
  シミュレーションの少ない機械学習(ML)アプローチを提案する。 提案手法により,OCCを全回路の仕様に近づけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:57:46Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Quantum circuit debugging and sensitivity analysis via local inversions [62.997667081978825]
  本稿では,回路に最も影響を及ぼす量子回路の断面をピンポイントする手法を提案する。 我々は,IBM量子マシン上に実装されたアルゴリズム回路の例に応用して,提案手法の実用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-04-12T19:39:31Z)
• Learning algorithms from circuit lower bounds [0.0]
  構成回路下界の様々な概念から効率的な学習アルゴリズムの既知の構成を再考する。 難しい問題を解こうとする多くのpサイズの回路の誤りを、特定のインタラクティブな方法で効率的に見つけることができれば、pサイズの回路は一様分布を通じてPACを学ぶことができることを証明します。
  論文  参考訳（メタデータ） (2020-12-28T04:47:36Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。