論文の概要: TuneComp: Joint Fine-tuning and Compression for Large Foundation Models
- arxiv url: http://arxiv.org/abs/2505.21835v1
- Date: Tue, 27 May 2025 23:49:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.332735
- Title: TuneComp: Joint Fine-tuning and Compression for Large Foundation Models
- Title（参考訳）: TuneComp:大規模ファンデーションモデルのファインチューニングと圧縮
- Authors: Xiangyu Chen, Jing Liu, Ye Wang, Matthew Brand, Pu, Wang, Toshiaki Koike-Akino,
- Abstract要約: シーケンシャルな微調整と圧縮はパフォーマンスを犠牲にし、中間ステップとして必要以上のモデルを作成する。
そこで本研究では, 圧搾された低ランク構造に段階的に蒸留することにより, 連続的に微調整を行い, 圧縮する手法を提案する。
実験により、関節の微調整と圧縮は他の逐次圧縮法よりも大幅に優れていることが示された。
- 参考スコア（独自算出の注目度）: 50.33925662486034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To reduce model size during post-training, compression methods, including knowledge distillation, low-rank approximation, and pruning, are often applied after fine-tuning the model. However, sequential fine-tuning and compression sacrifices performance, while creating a larger than necessary model as an intermediate step. In this work, we aim to reduce this gap, by directly constructing a smaller model while guided by the downstream task. We propose to jointly fine-tune and compress the model by gradually distilling it to a pruned low-rank structure. Experiments demonstrate that joint fine-tuning and compression significantly outperforms other sequential compression methods.
- Abstract（参考訳）: 訓練後のモデルサイズを低減するため、知識蒸留、低ランク近似、プルーニングを含む圧縮法は、モデルを微調整した後、しばしば適用される。
しかし、シーケンシャルな微調整と圧縮はパフォーマンスを犠牲にし、中間ステップとして必要以上のモデルを作成する。
本研究では,下流タスクを指導しながら,より小さなモデルを直接構築することで,このギャップを小さくすることを目的とする。
そこで本研究では, 圧搾された低ランク構造に段階的に蒸留することにより, 連続的に微調整を行い, 圧縮する手法を提案する。
実験により、関節の微調整と圧縮は他の逐次圧縮法よりも大幅に優れていることが示された。
関連論文リスト
- Dynamic Base model Shift for Delta Compression [53.505380509713575]
デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。
既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。
デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
論文 参考訳（メタデータ） (2025-05-16T15:11:19Z) - Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。
ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - Lossless and Near-Lossless Compression for Foundation Models [11.307357041746865]
モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。
我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。
論文 参考訳（メタデータ） (2024-04-05T16:52:55Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Just CHOP: Embarrassingly Simple LLM Compression [27.64461490974072]
LLM(Large Language Model)は、非並列の少数およびゼロショット推論機能を実現するが、高い計算フットプリントを実現する。
拡張言語モデル事前学習と組み合わせた単純なレイヤプルーニングは、7Bスケールでモデルの構造的および半構造化された圧縮に対して最先端の結果をもたらすことを示す。
また,より小さなBERT型モデルのタスク非依存圧縮において非常に効果的であった蒸留が,我々の単純な刈り取り技術に対して非効率になることを示す。
論文 参考訳（メタデータ） (2023-05-24T08:18:35Z) - Train Flat, Then Compress: Sharpness-Aware Minimization Learns More
Compressible Models [7.6356407698088]
不要なパラメータを抽出することは、大きなモデルを圧縮するための単純で効果的な方法として現れている。
平らな最小値の最適化は、標準Adamの最適化よりもパラメータの圧縮性が高いことを示す。
論文 参考訳（メタデータ） (2022-05-25T11:54:37Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Block Pruning For Faster Transformers [89.70392810063247]
小型モデルと高速モデルの両方を対象としたブロックプルーニング手法を提案する。
このアプローチは、アテンションヘッドのような基盤となるモデルの完全なコンポーネントを抽出することを学ぶ。
論文 参考訳（メタデータ） (2021-09-10T12:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。