論文の概要: Layer-wise Curriculum Learning for Efficient LLM Compression

• arxiv url: http://arxiv.org/abs/2609.19213v1
• Date: Wed, 16 Sep 2026 12:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.952108
• Title: Layer-wise Curriculum Learning for Efficient LLM Compression
• Title（参考訳）: 効率的なLLM圧縮のための層ワイドカリキュラム学習
• Abstract要約: 効率的なLLM圧縮のための階層型カリキュラム学習を提案する。 モデル全体を層からなる複数のセグメントに分割し,より計算効率の良い知識伝達を可能にする。 複数のデータセットに対する実験により,提案手法が最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 5.566738298015598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce layer-wise curriculum learning for efficient LLM compression. The proposed method facilitates the knowledge transfer from the teacher model to the student model, utilizing a curriculum learning approach that begins with easier optimization tasks and progressively tackles harder ones. In order to adopt the layer-wise learning in LLM compression, we partition the whole model into multiple segments consisting of layers, thereby enabling more computationally efficient knowledge transfer for LLMs. Based on our theoretical analysis of cumulative error phenomenon, layer-wise curriculum learning accelerates convergence while stabilizing the knowledge transfer process. In addition, we present a feature caching method with a multi-threading strategy to efficiently address feature misalignment across layers, maximizing GPU utilization. Consequently, our method exhibits advanced model compression performance, as well as high computational efficiency in terms of minimized memory usage and short training hours. Experiments on multiple datasets show that the proposed method achieves state-of-the-art performance while reducing GPU memory usage and training hours by more than 50\% on BERT and GPT-2. Moreover, it outperforms the other pruning methods on LLaMA-family and Qwen models under the same training hours, with a lower GPU memory footprint.
• Abstract（参考訳）: 本稿では,効率的なLLM圧縮のための階層型カリキュラム学習を提案する。 提案手法は,教師モデルから生徒モデルへの知識伝達を容易にする。 LLM圧縮におけるレイヤワイズ学習を採用するために、モデル全体を層からなる複数のセグメントに分割し、LCMのより効率的な知識伝達を可能にする。 累積誤差現象の理論解析に基づいて,知識伝達過程を安定化しながら,階層的なカリキュラム学習が収束を加速する。 さらに,マルチスレッド戦略を用いた機能キャッシング手法を提案し,GPU利用の最大化を図る。 提案手法は,メモリ使用量を最小限に抑え,短時間のトレーニング時間において,高度なモデル圧縮性能と高い計算効率を示す。 複数のデータセットで実験した結果,提案手法はGPUメモリ使用率とトレーニング時間をBERTとGPT-2で50%以上削減し,最先端の性能を実現する。 さらに、LLaMAファミリーやQwenモデルの他のプルーニングメソッドを同じトレーニング時間で上回り、GPUメモリフットプリントが低い。

関連論文リスト

• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• Reversing Large Language Models for Efficient Training and Fine-Tuning [24.232966507637673]
  大きな言語モデル(LLM)は、高価で時間を要する訓練で知られている。 対称およびシンプレクティック微分方程式に着想を得たLLMのメモリ効率・可逆的アーキテクチャを提案する。 その結果、いくつかのデータセットとベンチマークで同等または改善されたパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2025-11-27T19:32:15Z)
• PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning [54.73049408950049]
  モーダリティ適応型学習を伴う効率的な統一マルチモーダル検索のための階層型言語モデルを提案する。 本手法は,構造的,学習的両面からの統合的マルチモーダル検索を改善する。
  論文  参考訳（メタデータ） (2025-07-10T16:47:25Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Seesaw: High-throughput LLM Inference via Model Re-sharding [8.840996987380484]
  本稿ではスループット指向タスクに最適化された推論エンジンであるSeesawを紹介する。 Seesawの背景にある主要なアイデアは、並列化戦略の動的再構成を容易にする技術である動的モデル再シャーディングである。
  論文  参考訳（メタデータ） (2025-03-09T04:14:06Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。