論文の概要: RanDeS: Randomized Delta Superposition for Multi-Model Compression
- arxiv url: http://arxiv.org/abs/2505.11204v1
- Date: Fri, 16 May 2025 13:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:14.985778
- Title: RanDeS: Randomized Delta Superposition for Multi-Model Compression
- Title（参考訳）: RanDeS:マルチモデル圧縮のためのランダムデルタ重ね合わせ
- Authors: Hangyu Zhou, Aaron Gokaslan, Volodymyr Kuleshov, Bharath Hariharan,
- Abstract要約: モデルマージを圧縮・検索方式として再構成し、モデル検索中に無関係なデルタの和からタスクの干渉が発生することを示した。
このアプローチは、視覚的タスクと言語タスクの両方において、干渉を大幅に低減し、パフォーマンスを向上することを示す。
- 参考スコア（独自算出の注目度）: 35.84370778415708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: From a multi-model compression perspective, model merging enables memory-efficient serving of multiple models fine-tuned from the same base, but suffers from degraded performance due to interference among their task-specific parameter adjustments (i.e., deltas). In this paper, we reformulate model merging as a compress-and-retrieve scheme, revealing that the task interference arises from the summation of irrelevant deltas during model retrieval. To address this issue, we use random orthogonal transformations to decorrelate these vectors into self-cancellation. We show that this approach drastically reduces interference, improving performance across both vision and language tasks. Since these transformations are fully defined by random seeds, adding new models requires no extra memory. Further, their data- and model-agnostic nature enables easy addition or removal of models with minimal compute overhead, supporting efficient and flexible multi-model serving.
- Abstract（参考訳）: 多モデル圧縮の観点から、モデルマージは、同一ベースから微調整された複数のモデルのメモリ効率の高い提供を可能にするが、タスク固有のパラメータ調整(デルタ)間の干渉による性能低下に悩まされる。
本稿では,モデル検索における非関連デルタの総和からタスクの干渉が発生することを明らかにし,モデルマージを圧縮・検索方式として再構成する。
この問題に対処するために、これらのベクトルを自己完備化に変換するためにランダム直交変換を用いる。
このアプローチは、視覚的タスクと言語タスクの両方において、干渉を大幅に低減し、パフォーマンスを向上することを示す。
これらの変換はランダムなシードによって完全に定義されるため、新しいモデルを追加するには余分なメモリを必要としない。
さらに、データやモデルに依存しない性質により、計算オーバーヘッドを最小限に抑えたモデルの追加や削除が容易になり、効率的で柔軟なマルチモデルサービスをサポートする。
関連論文リスト
- Dynamic Base model Shift for Delta Compression [53.505380509713575]
デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。
既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。
デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
論文 参考訳（メタデータ） (2025-05-16T15:11:19Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Merging Feed-Forward Sublayers for Compressed Transformers [16.746335565636976]
モデル内の類似パラメータ群をマージすることで,モデル圧縮に対する新しいアプローチを提案する。
具体的には、Transformerモデルでフィードフォワードサブレイヤを分離し、アライメントし、マージする。
モデルフィードフォワードサブレイヤの3分の1以上を組み合わせながら、元のモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2025-01-10T17:25:11Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Representation Surgery for Multi-Task Model Merging [57.63643005215592]
マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。
最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。
既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
論文 参考訳（メタデータ） (2024-02-05T03:39:39Z) - Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [24.64264715041198]
Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。
SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
論文 参考訳（メタデータ） (2023-06-29T08:49:41Z) - Understanding Parameter Sharing in Transformers [53.75988363281843]
トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。
このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。
8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
論文 参考訳（メタデータ） (2023-06-15T10:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。