論文の概要: BackSlash: Rate Constrained Optimized Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2504.16968v2
• Date: Fri, 25 Apr 2025 08:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.103741
• Title: BackSlash: Rate Constrained Optimized Training of Large Language Models
• Title（参考訳）: BackSlash: 大きな言語モデルの速度制約による最適トレーニング
• Authors: Jun Wu, Jiangtao Wen, Yuxing Han,
• Abstract要約: 本稿では,RDOに基づく新しい訓練時間圧縮手法BackSlashを紹介する。 BackSlashは、正確さを損なわずに、メモリ使用量を60%から90%削減できる。
• 参考スコア（独自算出の注目度）: 16.674192960972334
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancement of large-language models (LLMs) has driven extensive research into parameter compression after training has been completed, yet compression during the training phase remains largely unexplored. In this work, we introduce Rate-Constrained Training (BackSlash), a novel training-time compression approach based on rate-distortion optimization (RDO). BackSlash enables a flexible trade-off between model accuracy and complexity, significantly reducing parameter redundancy while preserving performance. Experiments in various architectures and tasks demonstrate that BackSlash can reduce memory usage by 60% - 90% without accuracy loss and provides significant compression gain compared to compression after training. Moreover, BackSlash proves to be highly versatile: it enhances generalization with small Lagrange multipliers, improves model robustness to pruning (maintaining accuracy even at 80% pruning rates), and enables network simplification for accelerated inference on edge devices.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、訓練が完了した後のパラメータ圧縮に関する広範な研究を導いた。 本稿では,RDOに基づく新たなトレーニング時間圧縮手法であるBackSlash(Ryse-Constrained Training)を紹介する。 BackSlashはモデル精度と複雑性の間の柔軟なトレードオフを可能にし、パフォーマンスを維持しながらパラメータの冗長性を著しく低減する。 さまざまなアーキテクチャやタスクの実験では、BackSlashは正確さを損なわずに60%から90%のメモリ使用量を削減でき、トレーニング後の圧縮に比べて大きな圧縮ゲインを提供する。 さらに、BackSlashは、小さなラグランジュ乗算器による一般化を強化し、プルーニングに対するモデルロバスト性を改善し(80%プルーニングレートでも精度を維持する)、エッジデバイスでの推論を高速化するためのネットワーク単純化を可能にする。

関連論文リスト

• You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning [20.62274005080048]
  PruneNetは、ポリシー学習プロセスとしてモデルプルーニングを再構成する新しいモデル圧縮手法である。 LLaMA-2-7Bモデルはわずか15分で圧縮でき、ゼロショット性能の80%以上を維持できる。 複雑なマルチタスク言語理解タスクでは、PruneNetはオリジナルのモデルの80%のパフォーマンスを維持することで、その堅牢性を実証している。
  論文  参考訳（メタデータ） (2025-01-25T18:26:39Z)
• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Edge AI: Evaluation of Model Compression Techniques for Convolutional Neural Networks [0.0]
  本研究は,CIFAR-10データセットを用いた画像分類タスクにおけるConvNeXtモデルの圧縮手法を評価する。 その結果, モデルサイズが有意に減少し, 構造化プルーニング技術により最大75%の削減が達成された。 動的量子化はパラメータ数の最大95%の削減を達成する。
  論文  参考訳（メタデータ） (2024-09-02T11:48:19Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• Practical Network Acceleration with Tiny Sets [38.742142493108744]
  ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効である。 しかし、精度の低下から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。 そこで本研究では, PRACTISEという手法を用いて, トレーニング画像の小さなセットでネットワークを高速化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T05:04:38Z)
• Learning True Rate-Distortion-Optimization for End-To-End Image Compression [59.816251613869376]
  速度歪みの最適化は、従来の画像圧縮とビデオ圧縮の重要な部分である。 本稿では,RDO結果の低複雑さ推定をトレーニングに導入することにより,トレーニングの強化を図る。 我々は以前のRDONetモデルに比べてMS-SSIMで平均19.6%のレートセーブを実現し、従来のディープイメージコーダに比べて27.3%のレートセーブを実現した。
  論文  参考訳（メタデータ） (2022-01-05T13:02:00Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training [74.43625662170284]
  最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。 本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。 実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65～400倍)と優れたスケーラビリティ(64名までの学習者,8～12倍のバッチサイズ)を提供する。
  論文  参考訳（メタデータ） (2021-04-21T02:22:10Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• A Novel Memory-Efficient Deep Learning Training Framework via Error-Bounded Lossy Compression [6.069852296107781]
  本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。 我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
  論文  参考訳（メタデータ） (2020-11-18T00:47:21Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。