論文の概要: BYOM: Building Your Own Multi-Task Model For Free

• arxiv url: http://arxiv.org/abs/2310.01886v3
• Date: Sat, 3 Feb 2024 15:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 04:53:43.255024
• Title: BYOM: Building Your Own Multi-Task Model For Free
• Title（参考訳）: BYOM: 独自のマルチタスクモデルを無償で開発
• Authors: Weisen Jiang and Baijiong Lin and Han Shi and Yu Zhang and Zhenguo Li and James T. Kwok
• Abstract要約: BYOM-FFTは完全微調整モデルのマージ用であり、BYOM-LoRAはLoRA微調整モデルのマージ用である。 コンピュータビジョンと自然言語処理タスクの実験により、提案手法は既存のマージ手法よりも大きなマージ率で優れていることが示された。
• 参考スコア（独自算出の注目度）: 69.63765907216442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, various merging methods have been proposed to build a multi-task model from task-specific finetuned models without retraining. However, existing methods suffer from a large performance deterioration compared to using multiple task-specific models. In this paper, we propose to inject task-specific knowledge into the merged model and design two parameter-efficient approaches (BYOM-FFT and BYOM-LoRA) to Build Your Own Multi-task model. BYOM-FFT is for merging fully finetuned models, while BYOM-LoRA is for LoRA-finetuned models. Both methods are data-free and computation-efficient. Extensive experiments on computer vision and natural language processing tasks show that the proposed BYOM methods outperform existing merging methods by a large margin. Moreover, BYOM-FFT is general and can be integrated into existing merging methods to further boost performance.
• Abstract（参考訳）: 近年,タスク固有の微調整モデルからマルチタスクモデルを構築するためのマージ手法が提案されている。 しかし、既存の手法は複数のタスク固有のモデルを使用する場合に比べて性能が大幅に低下する。 本稿では,統合モデルにタスク固有の知識を注入し,BYOM-FFTとBYOM-LoRAの2つのパラメータ効率のアプローチを設計する。 BYOM-FFTは完全微調整モデル、BYOM-LoRAはLoRA微調整モデルである。 どちらの手法もデータフリーで計算効率が良い。 コンピュータビジョンと自然言語処理タスクに関する大規模な実験により,提案手法は既存のマージ手法よりも大きなマージ性能を示した。 さらに、BYOM-FFTは汎用的であり、既存のマージ手法に統合してパフォーマンスをさらに向上することができる。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models [29.655807841018497]
  大規模言語モデル(LLM)の微調整手法を提案する。 提案手法は,各クライアントモデルの構造を利用して,他のクライアントのタスクやデータ分散を考慮した学習手法を実現する。 実験結果は,異なるデータセットとモデルを用いて,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-20T22:24:40Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。