論文の概要: Weight-Adjusted Gradients Reveal Parameter Importance and Failure Modes in LLMs

• arxiv url: http://arxiv.org/abs/2607.10803v1
• Date: Sun, 12 Jul 2026 15:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.544806
• Title: Weight-Adjusted Gradients Reveal Parameter Importance and Failure Modes in LLMs
• Title（参考訳）: LLMにおける重み調整勾配の探索パラメータの重要性と故障モード
• Abstract要約: 本稿では,パラメータの重要度を推定するための簡単なアプローチであるウェイト調整勾配(WAG)を提案する。 WAGはモデルウェイトと一階勾配情報の相互作用を明示的にキャプチャする。 我々は、WAGがパラメータの小さいが重要なサブセットを表面化し、その修正によって性能が劇的に低下することを示した。
• 参考スコア（独自算出の注目度）: 12.559788353912651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding which parameters are influential in Large Language Models (LLMs) is central to improving their efficiency, reliability, and interpretability. We introduce Weight-Adjusted Gradients (WAG), a simple yet effective approach for estimating parameter importance that explicitly captures the interaction between model weights and first-order gradient information and identifies parameters that disproportionately influence model behavior, such as those responsible for collapse phenomena in LLMs. Across a range of models and settings, we show that WAG surfaces a tiny but critical subset of parameters whose modification leads to dramatic degradation in performance, a failure mode that existing importance metrics overlook. These findings reveal a previously underexplored interplay between weights and gradients, suggesting that parameter importance cannot be fully understood through either signal alone. The surprising effectiveness of WAG points to fundamental structural properties of trained networks and motivates new open questions about the role of zeroth-order and first-order information in deep learning. We demonstrate the practical utility of WAG across multiple applications, including expert allocation in mixture-of-expert architectures, parameter-specific unlearning, mixed-precision quantization, and layer selection for knowledge editing. Our results position WAG as a unified approach for analyzing, debugging, and controlling LLMs, and opens new directions for principled model-level interpretation.
• Abstract（参考訳）: LLM(Large Language Models)においてどのパラメータが影響するかを理解することは、その効率性、信頼性、解釈可能性の向上の中心である。 モデル重みと1次勾配情報との相互作用を明示的に把握し,LLMの崩壊現象の原因となるようなモデル行動に不均等に影響を及ぼすパラメータを同定する,パラメータ重要度を簡易かつ効果的に推定する手法であるウェイト調整勾配(WAG)を導入する。 様々なモデルや設定において、WAGはパラメータの小さいが重要なサブセットを表面化し、その変更によってパフォーマンスが劇的に低下し、既存の重要なメトリクスが見落としている障害モードであることを示す。 これらのことから, パラメータの重要性は両信号だけでは理解できないことが示唆された。 WAGの驚くべき効果は、訓練されたネットワークの基本的な構造特性を指摘し、ディープラーニングにおけるゼロ次情報と1次情報の役割に関する新しいオープンな疑問を動機付けている。 本稿では,複数のアプリケーションにまたがるWAGの実用性について紹介する。例えば,Mix-of-expertアーキテクチャのエキスパートアロケーション,パラメータ固有アンラーニング,Mix-precision Quantization,知識編集のためのレイヤ選択などである。 結果から,WAGをLCMの分析,デバッグ,制御のための統一的なアプローチとして位置づけ,モデルレベルの解釈のための新たな方向性を開拓した。

関連論文リスト

• Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
  微調整された大規模な基礎モデルは、計算コストを禁ずる。 微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。 本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T05:03:29Z)
• Sensitivity Meets Sparsity: The Impact of Extremely Sparse Parameter Patterns on Theory-of-Mind of Large Language Models [55.46269953415811]
  ToM感受性パラメータを同定し、これらのパラメータの0.001%の摂動がToM性能を著しく低下させることを示す。 我々の結果は、モデルアライメントの強化、バイアス軽減、ヒューマンインタラクション用に設計されたAIシステムの改善に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-05T17:45:42Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies [7.376615925443845]
  モデルに基づく強化学習フレームワークであるPrivlegedDreamerを紹介する。 5つのHIP-MDPタスクに関する実証分析により、PrivlegedDreamerは最先端のモデルベース、モデルフリー、do-main適応学習アルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T02:46:02Z)
• Understanding Layer Significance in LLM Alignment [23.582520695083588]
  大規模言語モデル内のどの層がアライメントプロセスに最も重要かを特定することを提案する。 実験の結果、アライメントデータセットにかなりの違いがあるにもかかわらず、モデルの重要層が90%近く重複していることが判明した。 また, 最重要層を選択的に調整することで, 性能損失を最小限に抑え, 微調整効率を著しく向上させることができた。
  論文  参考訳（メタデータ） (2024-10-23T13:47:05Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。