論文の概要: Dynamic Base model Shift for Delta Compression

• arxiv url: http://arxiv.org/abs/2505.11344v1
• Date: Fri, 16 May 2025 15:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.382393
• Title: Dynamic Base model Shift for Delta Compression
• Title（参考訳）: デルタ圧縮のための動的ベースモデルシフト
• Authors: Chenyu Huang, Peng Ye, Shenghe Zheng, Xiaohui Wang, Lei Bai, Tao Chen, Wanli Ouyang,
• Abstract要約: デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。 既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。 デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
• 参考スコア（独自算出の注目度）: 53.505380509713575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models with the pretrain-finetune paradigm bring about significant progress, along with the heavy storage and deployment costs of finetuned models on multiple tasks. Delta compression attempts to lower the costs by reducing the redundancy of delta parameters (i.e., the difference between the finetuned and pre-trained model weights) through pruning or quantization. However, existing methods by default employ the pretrained model as the base model and compress the delta parameters for every task, which may causes significant performance degradation, especially when the compression rate is extremely high. To tackle this issue, we investigate the impact of different base models on the performance of delta compression and find that the pre-trained base model can hardly be optimal. To this end, we propose Dynamic Base Model Shift (DBMS), which dynamically adapts the base model to the target task before performing delta compression. Specifically, we adjust two parameters, which respectively determine the magnitude of the base model shift and the overall scale of delta compression, to boost the compression performance on each task. Through low-cost learning of these two parameters, our DBMS can maintain most of the finetuned model's performance even under an extremely high compression ratio setting, significantly surpassing existing methods. Moreover, our DBMS is orthogonal and can be integrated with a variety of other methods, and it has been evaluated across different types of models including language, vision transformer, and multi-modal models.
• Abstract（参考訳）: トレーニング前ファインチューンパラダイムを備えたトランスフォーマーベースのモデルは、複数のタスクで微調整されたモデルの重いストレージとデプロイメントコストとともに、大きな進歩をもたらす。 デルタ圧縮は、プルーニングや量子化によってデルタパラメータ(微調整されたモデルと事前訓練されたモデル重量の違い)の冗長性を減少させることでコストを下げようとする。 しかし、既存の手法では、既訓練モデルをベースモデルとして使用し、各タスクのデルタパラメータを圧縮することで、特に圧縮率が極めて高い場合には、大幅な性能劣化を引き起こす可能性がある。 そこで本研究では,差分圧縮の性能に異なるベースモデルが与える影響について検討し,事前学習したベースモデルが最適でないことを確かめる。 この目的のために、デルタ圧縮を行う前にベースモデルをターゲットタスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。 具体的には,基本モデルシフトの大きさとデルタ圧縮の規模をそれぞれ決定する2つのパラメータを調整し,各タスクの圧縮性能を向上する。 この2つのパラメータの低コストな学習により、DBMSは、非常に高い圧縮比設定の下でも、既存の手法をはるかに上回りながら、微調整されたモデルの性能のほとんどを維持できる。 さらに、我々のDBMSは直交的であり、他の様々な手法と統合することができ、言語、視覚変換器、マルチモーダルモデルなど様々なタイプのモデルで評価されている。

関連論文リスト

• RanDeS: Randomized Delta Superposition for Multi-Model Compression [35.84370778415708]
  モデルマージを圧縮・検索方式として再構成し、モデル検索中に無関係なデルタの和からタスクの干渉が発生することを示した。 このアプローチは、視覚的タスクと言語タスクの両方において、干渉を大幅に低減し、パフォーマンスを向上することを示す。
  論文  参考訳（メタデータ） (2025-05-16T13:02:12Z)
• ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs [9.435738597849447]
  ImPartは、新しく重要なデルタスペーサー化アプローチである。 異なる特異ベクトルの空間比をその重要性に基づいて調整する。
  論文  参考訳（メタデータ） (2025-04-17T16:39:36Z)
• Seeing Delta Parameters as JPEG Images: Data-Free Delta Compression with Discrete Cosine Transform [51.29604910007176]
  従来のJPEG画像圧縮にインスパイアされた最初のデータフリーデルタ圧縮手法であるDelta-DCTを導入し、離散コサイン変換(DCT)を利用する。 提案したデルタ-DCTはトレーニングやデータキャリブレーションを一切必要とせず、1ビット相当のデルタ圧縮比で元の微調整モデルに匹敵する性能を達成し、(1)最近7Bから13Bに異なるサイズのLSMを新たにリリースし、(2)RoBERTaやT5モデルを含む比較的小さな言語モデル、(3)視覚トランスフォーマーモデル、(4)マルチモーダルBEiT-3モデルなど様々なモデルで達成した。
  論文  参考訳（メタデータ） (2025-03-09T16:03:48Z)
• DeltaDQ: Ultra-High Delta Compression for Fine-Tuned LLMs via Group-wise Dropout and Separate Quantization [17.501956455837707]
  大規模言語モデルは、教師付き微調整により、様々な下流タスクにおいて例外的なパフォーマンスを達成する。 デルタ重量を圧縮する現在の方法は超高圧縮を達成するのに苦労している。 デルタ重みの超高圧縮を実現するために,分布駆動型デルタ圧縮フレームワークデルタDQを提案する。
  論文  参考訳（メタデータ） (2024-10-11T09:44:16Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• USDC: Unified Static and Dynamic Compression for Visual Transformer [17.10536016262485]
  ビジュアルトランスフォーマーは、分類、検出など、ほぼすべての視覚タスクで大きな成功を収めています。 しかし、視覚変換器のモデル複雑さと推論速度は、産業製品への展開を妨げる。 様々なモデル圧縮技術は、モデル性能を維持しながら、視覚変換器を直接より小さく圧縮することに重点を置いているが、圧縮比が大きいと性能が劇的に低下する。 動的ネットワーク技術もいくつか適用されており、入力適応効率のよいサブ構造を得るために動的に圧縮し、圧縮比とモデル性能のトレードオフを改善することができる。
  論文  参考訳（メタデータ） (2023-10-17T10:04:47Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。