論文の概要: Beyond Layer Importance in Layer-wise Sparsity: An Inter-Layer Perturbation-Absorption Perspective

• arxiv url: http://arxiv.org/abs/2606.15161v1
• Date: Sat, 13 Jun 2026 07:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.957378
• Title: Beyond Layer Importance in Layer-wise Sparsity: An Inter-Layer Perturbation-Absorption Perspective
• Title（参考訳）: 層間摂動-吸収の視点
• Authors: Tao Jing, Ningxin Wu, Chen Kang, Dong Yu, Changliang Li, Pengyuan Liu,
• Abstract要約: 大規模言語モデルにおけるレイヤワイド冗長性は、効率的な圧縮のための標準的なプルーニングアプローチとして、レイヤ間の非一様空間割り当てを確立している。 我々はこの特性を制御摂動実験により特徴づける。 パープレキシティを7.13%削減し,0ショット精度を70%の間隔で複数のモデルファミリで1.02%向上させることにより,アウトリーとAlphaPruningを改善する吸収認識補正を提案する。
• 参考スコア（独自算出の注目度）: 22.968807193719044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The considerable layer-wise redundancy in large language models (LLMs) has established non-uniform sparsity allocation across layers as the standard pruning approach for efficient compression. Existing layer-wise allocation methods that estimate allocation strategy from local signals such as activation outliers or weight spectra mainly derive from local layer importance, whereas the final post-pruning performance is also influenced by the network's subsequent compensatory capacity. In this paper, we directly characterize this property through controlled perturbation experiments. We make the following empirical findings. First, layers exhibit highly heterogeneous responses to pruning-scale perturbations. In most cases, early layers amplify perturbations, while middle and late layers actively absorb them, with relative L2 drift decreasing monotonically across depth and direction realigning toward the unperturbed hidden-state trajectory. Second, absorption is a large-perturbation phenomenon. Under small perturbations the network exhibits amplification across all layers, and the transition to absorption occurs smoothly as perturbation magnitude grows to pruning scale. This enriches the linearized accumulation theory underlying related works. Building on these findings, we define an absorption coefficient per layer and propose absorption-aware correction, an orthogonal augmentation that improves OWL and AlphaPruning by reducing perplexity by 7.13% and boosting zero-shot accuracy by 1.02% across multiple model families at 70% sparsity.
• Abstract（参考訳）: 大規模言語モデル (LLMs) におけるかなりの層次冗長性は、効率的な圧縮のための標準的なプルーニング手法として、層間における均一でない空間配置を確立している。 アクティベーションアウトレーヤやウェイトスペクトルなどのローカル信号からアロケーション戦略を推定する既存の層単位でのアロケーション手法は、主に局所的な層の重要性から導かれるが、最終的な処理後の性能は、ネットワークのその後の補償能力にも影響される。 本稿では,この特性を制御摂動実験により直接評価する。 実験の結果は以下の通りである。 第一に、層はプルーニングスケールの摂動に対して非常に不均一な応答を示す。 ほとんどの場合、初期の層は摂動を増幅するが、中層と後期層はそれらを積極的に吸収し、相対的なL2ドリフトは、未摂動の隠れ状態軌道に対して単調に減少する。 第二に、吸収は大きな摂動現象である。 小さな摂動の下では、ネットワークはすべての層にわたって増幅され、摂動の規模が大きくなるにつれて吸収への遷移は円滑に起こる。 このことは、線形化累積理論を根底にある関連する研究に富ませる。 これらの結果に基づいて,各層毎の吸収係数を定義し,70パーセントの間隔で複数のモデル群で0ショット精度を1.02%向上させ,OWLとAlphaPruningを改善する直交増進法である吸収認識補正を提案する。

関連論文リスト

• Learning to Perturb Hidden Representations for Generalizable Deep Learning [3.2608238154676843]
  また,Dropout, Manifold Mixup, 対向的特徴摂動, 関連手法はいずれも, 特定の形態のアクティベーション摂動を課すが, クラスに依存しない, ランダムな戦略を課す。 本稿では,PGDを用いて学習したクラスレベルの摂動を持つ隠蔽層において,アクティベーションを適応的に摂動するLPA(Learning to Perturb Activation)を提案する。
  論文  参考訳（メタデータ） (2026-05-28T07:41:39Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval [13.218607858857295]
  スペクトル勾配法は、スケールを捨てながら方向情報を保存することによって勾配の更新を変更する。 非線形位相探索モデルの動的解析により,これらの利得のメカニズムを解明する。
  論文  参考訳（メタデータ） (2026-01-30T07:12:58Z)
• Towards the Training of Deeper Predictive Coding Neural Networks [44.14001498773255]
  予測符号化ネットワーク(英: Predictive coding network)は、反復エネルギー最小化プロセスを通じて推論を行うニューラルネットワークである。 浅いアーキテクチャでは有効だが、5層から7層に留まらず、パフォーマンスが著しく低下する。 この劣化は,重み付け更新時の層間エラーの指数的不均衡と,より深い層内の更新を導くのに有効でない前の層からの予測が原因であることを示す。
  論文  参考訳（メタデータ） (2025-06-30T12:44:47Z)
• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)
• Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
  解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。 以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。 どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
  論文  参考訳（メタデータ） (2024-10-24T20:15:45Z)
• The Unreasonable Ineffectiveness of the Deeper Layers [5.984361440126354]
  一般的な質問応答ベンチマークでは, あるレイヤを削除してもモデル性能には影響しないことがわかった。 驚くべきことに、この方法では、少数の層が取り除かれるまで、パフォーマンスの最小限の劣化が見られます。 科学的見地からすると、これらのLCMの堅牢性からレイヤの削除は、現在の事前学習手法がネットワークの深い層におけるパラメータを適切に活用していない、あるいは浅い層が知識を保存する上で重要な役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2024-03-26T17:20:04Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。