論文の概要: Beyond Retraining-Free MoE Compression: A Cost-Normalized Study of Post-Compression Adjustment

• arxiv url: http://arxiv.org/abs/2609.06076v1
• Date: Sat, 05 Sep 2026 13:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.190754
• Title: Beyond Retraining-Free MoE Compression: A Cost-Normalized Study of Post-Compression Adjustment
• Title（参考訳）: Retraining-free MoE Compression:A Cost-Normalized Study of Post-Compression Adjustment
• Abstract要約: トレーニングなしのMoE圧縮は、専門家のプルーニングやマージによってデプロイメントメモリを削減するが、圧縮されたチェックポイントを最終アーティファクトとして扱うことが多い。 LMファインチューニングと教師ベースのKDを、マッチングされた小データ予算と測定されたGPUコストで比較した。 Full FTは、オリジナルの圧縮されたパフォーマンスギャップの37.3%を平均で回復する。
• 参考スコア（独自算出の注目度）: 8.26446202479213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retraining-free MoE compression reduces deployment memory by pruning or merging experts, but often treats the compressed checkpoint as the final artifact. We argue that this view is incomplete: compressed MoE checkpoints are better understood as compressed initializations that benefit from a tiny post-compression adjustment stage. Across two MoE LLM backbones, four pruning/merging methods, three expert-retention ratios, and 28 benchmarks, we compare LM fine-tuning and teacher-based KD under matched small-data budgets and measured GPU costs. Using only 3,000 C4 examples and a single epoch of adjustment, Full FT recovers 37.3% of the original-to-compressed performance gap on average. Moreover, LM fine-tuning is more cost-effective than standard token-level KD, and full-parameter adjustment gives the strongest cost--recovery trade-off among the tested scopes. These results suggest that retraining-free compression should be paired with small post-compression adjustment to recover a substantial portion of the performance lost during compression.
• Abstract（参考訳）: トレーニングなしのMoE圧縮は、専門家のプルーニングやマージによってデプロイメントメモリを削減するが、圧縮されたチェックポイントを最終アーティファクトとして扱うことが多い。 圧縮されたMoEチェックポイントは圧縮された初期化として理解され、圧縮後の小さな調整段階の恩恵を受ける。 2つのMoE LLMバックボーン,4つのプルーニング/マージ方法,3つの専門家保持率,28のベンチマークにおいて,LMファインチューニングと教師ベースのKDをマッチングされたデータ予算とGPUコストで比較した。 3000のC4サンプルと1回の調整で、Full FTはオリジナルの圧縮された性能ギャップの37.3%を平均で回復した。 さらに、LMファインチューニングは標準的なトークンレベルKDよりもコスト効率が高く、フルパラメータ調整はテスト対象間での最大のコスト-回復トレードオフを与える。 これらの結果から,リトレーニングフリー圧縮と圧縮後調整を併用して,圧縮時に失われる性能のかなりの部分を回復することが示唆された。

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• The Asymmetric Harms of LLM Compression [9.45803162325743]
  大規模言語モデル(LLM)圧縮は、デプロイメントコストを削減しますが、パープレキシティや精度といった標準的な集約メトリクスは、基礎となる振る舞いシフトを隠蔽します。 本研究では,11個の圧縮法にまたがる3つのLLMを体系的に評価し,圧縮が知識保持,モデル信頼,社会的偏見に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2026-08-20T06:06:14Z)
• When Token Compression Breaks: Structural Pruning vs. Token Reduction for Robust ViT Segmentation under High Compression [22.74689289299356]
  視覚変換器(ViT)はセマンティックセグメンテーションのための強力なバックボーンであるが、その計算コストはデプロイメントを制限する。 効率的なViTベースのセグメンテーションのための最近のトークン圧縮法は、トークンの数を減らしてコストを削減している。 We benchmark token compression and structure pruning method for ViT-based semantic segmentation under matched FLOPs。
  論文  参考訳（メタデータ） (2026-07-02T14:34:31Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• A Systematic Study of Compression Ordering for Large Language Models [0.5926203312586109]
  本研究では,Qwen2.5 3Bモデルに適用した場合の知識蒸留,構造化プルーニング,低ビット量子化の方法について系統的に検討する。 実験により、量子化は最大のスタンドアロン圧縮を提供する一方で、プルーニングは適度な品質劣化をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-11-23T12:46:56Z)
• CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
  Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。 我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-24T12:21:50Z)
• PMKLC: Parallel Multi-Knowledge Learning-based Lossless Compression for Large-Scale Genomics Database [9.687284031748792]
  提案するアンダーライン型アンダーラインKnowledgeアンダーラインラーニングベースアンダーライン圧縮機 (PMKLC) は4つの重要な設計である。 PMKLC-S/Mと14のベースラインを、異なる種とデータサイズを持つ15の現実世界データセットでベンチマークする。 PMKLC-S/Mは平均圧縮比を73.609%、73.480%に改善し、平均スループットを3.036に改善した。
  論文  参考訳（メタデータ） (2025-07-17T05:46:08Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。