論文の概要: Mechanistic Failure Modes of Weight Pruning in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2610.37126v1
• Date: Tue, 27 Oct 2026 12:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.584544
• Title: Mechanistic Failure Modes of Weight Pruning in Transformer Language Models
• Title（参考訳）: 変圧器言語モデルにおけるウェイトプルーニングの機械的故障モード
• Abstract要約: 刈り取られた言語モデルは、ほぼ完全に正確さと難易度で判断される。 我々はこの仮定をGPTニューロンの因子的プルーニング研究で検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruned language models are judged almost entirely by accuracy and perplexity, which assumes that preserved output behaviour implies preserved internal computation. We test this assumption with a factorial pruning study on GPT-2, crossing two importance criteria (magnitude, random), two component types (attention heads, MLP neurons) and three sparsity levels (3%, 50%, 70%). Using the fully characterised indirect object identification (IOI) circuit as ground truth, we measure circuit integrity with activation patching, path patching and direct logit attribution. We find two qualitatively distinct failure modes. Magnitude head pruning >= zeroes the circuit: output-facing heads are removed, and the model falls to near-chance. Magnitude neuron pruning at 30% inverts it: all 26 circuit heads remain intact, but Name Mover contributions flip sign, and the model systematically prefers the wrong name (17.7% accuracy). Perplexity ranks it as less damaged than random head pruning (74.6 vs 140.1). A replication of the Greater-Than circuit shows that the critical component type depends on the circuit's architecture. These results show that output metrics and structural checks can both miss mechanistic damage, motivating circuit-level causal analysis as a complementary evaluation of compressed language models.
• Abstract（参考訳）: プレナード言語モデルは、保存された出力の振る舞いが保存された内部計算を意味すると仮定する精度と難易度によってほぼ完全に判断される。 我々はこの仮定を,GPT-2に関する因子的プルーニング研究で検証し,2つの重要な基準(マグニチュード,ランダム),2つのコンポーネントタイプ(アテンションヘッド,MLPニューロン)と3つの空間レベル(3%,50%,70%)を越えた。 そこで本研究では,本回路の完全特徴化による間接物体識別(IOI)回路を真理として,アクティベーションパッチ,パスパッチ,直接ロジット属性を用いて回路整合性を測定する。 定性的に異なる2つの障害モードを見つけます。 Magnitude head pruning >= 0es the circuit: output- facing head is removed, and the model fall to near-chance。 26個の回路ヘッドは全て無傷であるが、ネーム・モーバーはフリップサインに寄与し、モデルは間違った名前(17.7%の精度)を体系的に好んでいる。 パープレキシティは、ランダムなヘッドプルーニング(74.6対140.1)よりも損傷が少ないとランク付けしている。 グレーター・タン回路の複製は、臨界成分のタイプが回路のアーキテクチャに依存することを示している。 これらの結果から, 圧縮言語モデルの相補的評価として回路レベルの因果解析を動機付け, 機械的損傷を見逃しかねないことが示唆された。

関連論文リスト

• Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability [9.522452128296834]
  介入定義忠実度は、モデルの振る舞いを再現しにくくする等サイズの回路を好むことを示す。 除外された信号を置き換えることで、保持されたコンポーネントが動作する入力が変化する。
  論文  参考訳（メタデータ） (2026-10-01T17:25:23Z)
• Rethinking Circuit Evaluation: Do Circuits Explain Model Errors? [10.705929494771231]
  モデルの動作を説明する回路がほとんどのエラーを考慮できないことを示す。 多くの試験回路は、モデルのエラーの大半を見逃しながら、正確な動作を密に再現した。 これらの結果から,回路はモデルの故障を適切に説明せずにタスク成功を維持できることがわかった。
  論文  参考訳（メタデータ） (2026-09-28T17:34:45Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
  本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。 この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
  論文  参考訳（メタデータ） (2026-06-05T05:20:32Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Accelerating Attention through Gradient-Based Learned Runtime Pruning [9.109136535767478]
  自己認識は、トランスフォーマーベースの自然言語処理モデルにおいて、最先端の精度を実現する重要な手段である。 本稿では、学習の損失関数に組み込まれたソフトな微分可能正規化器による探索を定式化する。 我々は、ビットレベルの早期終了マイクロアーキテクチャ機構を持つトランスフォーマー言語モデルに対して、LeOPArdと呼ばれるビットシリアルアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2022-04-07T05:31:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。