論文の概要: Output-aware Residual Stream Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.35579v1
• Date: Mon, 28 Sep 2026 16:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:37:56.955587
• Title: Output-aware Residual Stream Pruning for Large Language Models
• Title（参考訳）: 大規模言語モデルのための出力対応残差ストリームプルーニング
• Abstract要約: 残留ストリームプルーニング法は、モデルの隠れ次元を縮小することにより、推論コストを低減する。 この方向依存感度を直接考慮した残差ストリームプルーニングに対する感度認識手法を提案する。 以上の結果から, 活性化エネルギーの保存だけでは残留流破砕には不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 13.731200381134064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual stream pruning methods reduce inference cost by shrinking the model's hidden dimension, but existing approaches typically choose these dimensions by minimizing activation reconstruction error. This criterion implicitly treats all perturbation directions as equally important, ignoring the sensitivity of downstream layers. We introduce a sensitivity-aware approach to residual-stream pruning that directly accounts for this direction-dependent sensitivity. Using a second-order approximation to the output KL divergence, we characterize the effect of a residual-stream perturbation through both its activation covariance and the local sensitivity of the model output. The resulting subspace selection objective couples these two quantities, but is difficult to optimize directly. We derive a tractable spectral upper bound that reduces subspace selection to an eigendecomposition of a sensitivity-weighted covariance matrix, retaining the efficiency and structural simplicity of rotation-based pruning methods. Across several instruction-tuned language model families, our method consistently reduces calibration KL divergence relative to activation-only pruning and improves perplexity and downstream task performance over a range of compression levels. Our results show that preserving activation energy alone is insufficient for residual-stream pruning, and that explicitly accounting for how perturbations propagate to the model output provides a more effective criterion for selecting dimensions to remove.
• Abstract（参考訳）: 残留ストリームプルーニング法はモデルの隠れ次元を小さくすることで推論コストを削減するが、既存の手法ではアクティベーション再構成誤差を最小限に抑えてこれらの次元を選択するのが一般的である。 この基準は、すべての摂動方向を同様に重要視し、下流層の感度を無視している。 この方向依存感度を直接考慮した残差ストリームプルーニングに対する感度認識手法を提案する。 出力KLの分散に対する2次近似を用いて、モデル出力の活性化共分散と局所感度の両方を通して残留流の摂動の影響を特徴づける。 結果として得られる部分空間選択の目的はこれら2つの量と結合するが、直接最適化することは困難である。 我々は、部分空間選択を感度重み付き共分散行列の固有分解に還元し、回転式プルーニング法の効率性と構造的単純さを保ちながら、トラクタブルスペクトル上界を導出する。 いくつかの命令調整型言語モデルファミリにおいて,アクティベーションのみのプルーニングに対するキャリブレーションKLのばらつきを一貫して低減し,様々な圧縮レベルに対してパープレキシティとダウンストリームタスク性能を向上させる。 以上の結果から, モデル出力に対する摂動の伝播が, 除去する寸法を選択する上で, 活性化エネルギーのみの保存が不十分であること, および, モデル出力に対する摂動の伝播が, 除去する次元を選択する上でより効果的な基準となること, が示唆された。

関連論文リスト

• Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch [31.156115062163412]
  弱教師付きセグメンテーションは、最初にターゲット領域をローカライズするためにクラスアクティベーションマップ(CAM)に大きく依存している。 既存の治療法は、通常、追加のトレーニングステージやプロトタイプ学習を導入し、計算コストを増大させ、堅牢性を低下させる。 本研究では, 容積データの時間的・構造的コヒーレンスをフリーランチとして利用することにより, 信頼できないCAMを修正できる, トレーニング不要なプロトタイプフリーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:07:38Z)
• ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces [8.08601759467653]
  Zeroth-order (ZO) 最適化により、バックプロパゲーションが利用できない場合やメモリ制限の場合に、大きな言語モデルを微調整できる。 本稿では, アクティベーションインフォームドZOファインチューニング手法であるZO-Actを提案し, 摂動を固定された低ランク部分空間に制限する。 我々は、ZO-Actを制限係数空間上のゼロ階最適化として解析し、低次元係数の摂動がZO推定器の分散依存収束項と有限差分誤差の両方を減少させることを示す。
  論文  参考訳（メタデータ） (2026-07-01T16:12:50Z)
• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。