論文の概要: Train Overcomplete, Deploy Compact: Scaling Recovery Capacity for Structured LLM Pruning

• arxiv url: http://arxiv.org/abs/2609.06974v1
• Date: Mon, 07 Sep 2026 03:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.346058
• Title: Train Overcomplete, Deploy Compact: Scaling Recovery Capacity for Structured LLM Pruning
• Title（参考訳）: 列車オーバーコンプリート, 展開コンパクト:構造化LCMプラントのスケーリング回収能力
• Abstract要約: OverRepは、大規模言語モデルの構造化プルーニングのためのフレームワークである。 強いリカバリベースラインよりも、25%および50%のプルーニングで最大5.5および8.4ポイントのリカバリ性能を向上する。 私たちのコードはhttps://github.com/mmai-laboratory/OverRep.comで利用可能です。
• 参考スコア（独自算出の注目度）: 6.0812616788294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models achieve strong performance across diverse tasks, but deployment remains costly because of memory, latency, and energy demands. Structured pruning reduces these costs by removing architectural components, yet its recovery stage is often limited by a mismatch between the recovery module's representational capacity and the complexity of the removed knowledge. We call this bottleneck the capacity-knowledge asymmetry and propose OverRep, an Overcomplete Reparameterization framework for structured LLM pruning. Following the principle of "train overcomplete, deploy compact", OverRep temporarily overparameterizes the recovery module during training to absorb complex knowledge distilled from the original model. After recovery, the overcomplete re-parameterization is algebraically merged into a mathematically equivalent compact module, preserving the pruned model's inference-time architecture and computational cost. OverRep further introduces an annealed activation that enables nonlinear training dynamics while converging to a linear regime for exact algebraic merging. Across three backbone families, OverRep improves retained reasoning performance over strong recovery baselines by up to 5.5 and 8.4 points at 25% and 50% pruning, respectively, while keeping memory usage and TFLOPs comparable to existing recovery methods. Our code is available at https://github.com/mmai-laboratory/OverRep.
• Abstract（参考訳）: 大規模な言語モデルは多様なタスクにわたって強力なパフォーマンスを実現しますが、メモリ、レイテンシ、エネルギー要求のためにデプロイメントはコストがかかります。 構造化プルーニングは、アーキテクチャコンポーネントを削除することでこれらのコストを削減するが、その回復段階は、リカバリモジュールの表現能力と削除された知識の複雑さとのミスマッチによって制限されることが多い。 我々はこのボトルネックをキャパシティ知識の非対称性と呼び、構造化LLMプルーニングのためのオーバーコンプリート再パラメータ化フレームワークであるOverRepを提案する。 の原則に従い、OverRepはトレーニング中にリカバリモジュールを一時的に過度にパラメータ化し、元のモデルから抽出した複雑な知識を吸収する。 回復後、オーバーコンプリート再パラメータ化は数学的に等価なコンパクトモジュールに代数的にマージされ、プルーンドモデルの推論時間アーキテクチャと計算コストを保存する。 OverRepはさらに、正確な代数的マージのために線形状態に収束しながら非線形トレーニングダイナミクスを可能にするアニール活性化を導入する。 3つのバックボーンファミリーで、OverRepは、強いリカバリベースラインよりも最大5.5ポイント、最大8.4ポイントまで、それぞれ25%と50%のプルーニングで、メモリ使用率と既存のリカバリメソッドに匹敵するTFLOPを維持できる。 私たちのコードはhttps://github.com/mmai-laboratory/OverRep.comで利用可能です。

関連論文リスト

• MemoryCPT: An End-to-End Agent Memory Framework for Cost-Performance Trade-off [18.54644708989368]
  ロングホライゾンLSMエージェントは、過剰な文脈を通さずに、大きな相互作用履歴から有用な証拠を回収するメモリシステムを必要とする。 オフラインメモリ構築とオンラインクエリ条件付きコンテキスト生成にまたがる、エンドツーエンドのトレーニング可能なエージェントメモリパイプラインであるMemoryCPTを提案する。 LoCoMoとLongMemEvalの実験は、MemoryCPTが評価ベースラインに対するコストパフォーマンスのトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2026-08-05T13:37:08Z)
• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency [65.07757274822207]
  大規模ビジョン言語モデル(LVLM)は、目覚ましい能力を示し、その相当な計算とメモリ要件は、リソース制約されたエッジデバイスへのデプロイメントに挑戦する。 言語モデルバックボーンに構造化プルーニングを適用して既存のLVLMを圧縮し,その後に軽量回復訓練を行った。
  論文  参考訳（メタデータ） (2026-04-27T12:10:44Z)
• ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
  Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。 最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
  論文  参考訳（メタデータ） (2026-03-18T11:40:44Z)
• A Free Lunch in LLM Compression: Revisiting Retraining after Pruning [23.87950717135044]
  刈り込み後の残りの重量を復元または再訓練する際の鍵となる設計選択について検討する。 特に,各変圧器ブロック内の注意とコンポーネントを別々に再構成することは,最も資源効率が良いが,最も難易度が高い。 以上の結果から,再トレーニングはあらゆるコストで避けるべきという物語に挑戦し,再トレーニング後のパフォーマンス回復に重要な洞察を与えることができた。
  論文  参考訳（メタデータ） (2025-10-16T08:43:09Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration [63.37145159948982]
  GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労している。 本稿では,既存の修復モデルに対する自己協力戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:26:59Z)
• Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
  本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。 LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。 GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:30:44Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs [22.557682089926004]
  パラメータの小さなサブセットを更新すれば、刈り込み後の回復や性能向上に十分であることを示す。 標準のLoRAとは異なり、スパシティを損なうことなくアダプタを再びマージできる2つの新しいLoRA変種を導入する。
  論文  参考訳（メタデータ） (2023-12-23T11:45:22Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。