論文の概要: How to Weight Multitask Finetuning? Fast Previews via Bayesian Model-Merging

• arxiv url: http://arxiv.org/abs/2412.08147v1
• Date: Wed, 11 Dec 2024 07:06:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:04:32.543364
• Title: How to Weight Multitask Finetuning? Fast Previews via Bayesian Model-Merging
• Title（参考訳）: マルチタスクファインタニングの軽量化 : ベイジアンモデルマージによる高速プレビュー
• Authors: Hugo Monzón Maldonado, Thomas Möllenhoff, Nico Daheim, Iryna Gurevych, Mohammad Emtiyaz Khan,
• Abstract要約: 我々は、検索を高速プレビューで支援し、異なる再重み付けオプションについて大まかに考えることを提案する。 モデルマージを使用して、各タスクでトレーニングされたモデルのパラメータを単純に再利用し、平均化することで、プレビューを作成します。
• 参考スコア（独自算出の注目度）: 58.61029168477524
• License:
• Abstract: When finetuning multiple tasks altogether, it is important to carefully weigh them to get a good performance, but searching for good weights can be difficult and costly. Here, we propose to aid the search with fast previews to quickly get a rough idea of different reweighting options. We use model merging to create previews by simply reusing and averaging parameters of models trained on each task separately (no retraining required). To improve the quality of previews, we propose a Bayesian approach to design new merging strategies by using more flexible posteriors. We validate our findings on vision and natural-language transformers. Our work shows the benefits of model merging via Bayes to improve multitask finetuning.
• Abstract（参考訳）: 複数のタスクを完全に微調整する場合、優れたパフォーマンスを得るために慎重に重み付けすることが重要ですが、適切な重み付けを探すことは困難でコストがかかります。 ここでは、検索を高速プレビューで支援し、異なる再重み付けオプションに関する大まかなアイデアを素早く得ることを提案する。 モデルマージを使用して、各タスクでトレーニングされたモデルのパラメータを単純に再利用し、平均化することで、プレビューを作成する(再トレーニングは不要)。 プレビューの質を向上させるために,より柔軟な後部構造を用いて新たなマージ戦略を設計するためのベイズ的手法を提案する。 視覚と自然言語変換器に関する知見を検証した。 我々の研究は、マルチタスクファインタニングを改善するため、ベイズ経由でのモデルマージの利点を示している。

関連論文リスト

• Visual Tuning [143.43997336384126]
  微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
  論文  参考訳（メタデータ） (2023-05-10T11:26:36Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。