論文の概要: SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

• arxiv url: http://arxiv.org/abs/2608.25068v1
• Date: Tue, 25 Aug 2026 19:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.41776
• Title: SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs
• Title（参考訳）: ShiFT-LLM:深絞り膜における分布シフト補正
• Abstract要約: 本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
• 参考スコア（独自算出の注目度）: 18.494055578192015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth pruning removes entire Transformer blocks to reduce the inference cost of large language models, but disrupts the hidden-state distributions expected by downstream layers, leading to significant accuracy loss. We introduce SHIFT-LLM, a training-free post-pruning correction framework that inserts a Linear Residual Adapter (LRA) at each pruning site. Each LRA preserves the identity pathway of the original residual block and adds a lightweight affine residual correction. This correction is calibrated via closed-form least-squares regression on a small held-out set, without gradient computation, to approximate the missing residual update produced by the pruned block. Together with the preserved identity pathway, the resulting LRA output approximates the hidden state produced by the original block, thereby mitigating the distributional mismatch introduced by layer removal while avoiding the expensive attention and feed-forward computations of the removed blocks. The resulting LRAs support low-rank factorization and exact merging across consecutive pruned layers for additional compression, and combine naturally with parameter-efficient fine-tuning for further recovery beyond fine-tuning the pruned model alone. Experiments on five model families, six layer-selection criteria, and seven zero-shot benchmarks show that SHIFT-LLM consistently recovers accuracy lost to depth pruning across most configurations, achieving gains up to +15.7 points on Llama-3.1-8B-Instruct while requiring only a few hundred calibration samples and no gradient computation.
• Abstract（参考訳）: 深さのプルーニングにより、Transformerブロック全体が取り除かれ、大きな言語モデルの推論コストが削減されるが、下流層が期待する隠れ状態の分布が破壊され、精度が大幅に低下する。 本稿では,各プルーニングサイトにLRA(Linear Residual Adapter)を挿入する,トレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 この補正は、グラデーション計算なしで小さなホールトアウトセット上の閉形式最小二乗回帰によって校正され、プルーンドブロックが生成した残差更新を近似する。 保存されたアイデンティティパスとともに、結果として得られたLRA出力は、元のブロックが生成した隠蔽状態を近似し、その除去されたブロックの高価な注意とフィードフォワード計算を回避しつつ、層除去によって生じる分布ミスマッチを緩和する。 結果として得られたLRAは、追加の圧縮のために連続的なプルーニング層にまたがる低ランクの分解と正確なマージをサポートし、パラメータ効率の微調整と自然に組み合わせて、プルーニングモデルのみを微調整する以外のさらなるリカバリを行う。 5つのモデルファミリ、6つの層選択基準、7つのゼロショットベンチマークによる実験では、ShiFT-LLMは、ほとんどの構成で奥行きプルーニングによって失われる精度を常に回復し、Llama-3.1-8B-Instructで+15.7ポイントまで上昇し、数百のキャリブレーションサンプルを必要とせず、勾配計算も不要である。

関連論文リスト

• Forward-Free LLM Depth Pruning via Weight Redundancy [0.08594140167290099]
  Depth pruningは、完全なTransformerブロックを削除することで、大きな言語モデル(LLM)推論コストを低減する。 Weight-Redundancy Pruning (WRP) は,チェックポイント重みから選択ブロックまでの層間冗長度を推定する,フォワードフリーなディープ・プルーニング手法である。 WRPは、既存のフォワードフリー・マグニチュード・プルーニングを一貫して上回り、アクティベーションベースの手法の性能にアプローチする。
  論文  参考訳（メタデータ） (2026-09-09T08:38:23Z)
• COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models [13.501861808796873]
  構造化プルーニングのためのトレーニングフリー補償フレームワークとしてCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。 Llama-3、Llama-3.1、Qwen2.5のモデルファミリーの実験では、COECは全てのモデルにおけるパープレキシティを改善し、ほとんどの設定においてゼロショット精度を向上している。
  論文  参考訳（メタデータ） (2026-08-21T14:20:49Z)
• QuaSAR: Quantization Compensation via Stable Activation-Aware Rank Truncation [0.0]
  閉形残差補償によるモデル精度の復元 低ビットW4A4設定では、このゲーティング機構は数値解法故障と予測不可能な量子化誤差を区別できない。 逆転前の崩壊方向を除去するパラメータフリーな逆解法を提案する。
  論文  参考訳（メタデータ） (2026-08-14T10:00:36Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• TriSP: Tri-Signal Structured Pruning for Large Language Models [0.0]
  大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 本稿では,Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T17:02:14Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
  本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。 1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。 HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
  論文  参考訳（メタデータ） (2026-05-28T12:24:15Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks [8.5133415329194]
  1発のマグニチュードプルーニングは、高スパーシティ・レシエーションにおいて深刻な精度の崩壊を引き起こす可能性がある。 そこで我々は,ASR (Adaptive Signal Resuscitation) を訓練不要なチャネルワイズ修復法として提案する。 ASRは、各出力チャネルの分散マッチング補正を推定し、データ駆動収縮規則で安定化する。
  論文  参考訳（メタデータ） (2026-05-20T17:19:01Z)
• Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
  推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。 RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。 我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
  論文  参考訳（メタデータ） (2025-12-01T20:27:05Z)
• Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples [57.67658635348395]
  LASERの網羅的で、マトリクスごとの探索は、迅速な展開には実用的ではない。 これらの結果を組み合わせることで、下流タスクに対する高速で堅牢な適応アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2025-10-23T17:58:01Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。