論文の概要: Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning

• arxiv url: http://arxiv.org/abs/2402.15017v1
• Date: Thu, 22 Feb 2024 23:29:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 16:09:41.870535
• Title: Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning
• Title（参考訳）: マルチタスクファインタニングによる基礎モデルのFew-Shot適応に向けて
• Authors: Zhuoyan Xu, Zhenmei Shi, Junyi Wei, Fangzhou Mu, Yin Li, Yingyu Liang
• Abstract要約: 多くのAI問題に対する強力なツールとして、ファンデーションモデルが登場した。 本稿では,マルチタスクファインタニング手法の理論的正当性について検討する。 本稿では,タスク選択アルゴリズムが関連する微調整タスクを積極的に選択することを確認し,対象タスクにおけるモデル性能の利点を提供する。
• 参考スコア（独自算出の注目度）: 20.727482935029375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models have emerged as a powerful tool for many AI problems. Despite the tremendous success of foundation models, effective adaptation to new tasks, particularly those with limited labels, remains an open question and lacks theoretical understanding. An emerging solution with recent success in vision and NLP involves finetuning a foundation model on a selection of relevant tasks, before its adaptation to a target task with limited labeled samples. In this paper, we study the theoretical justification of this multitask finetuning approach. Our theoretical analysis reveals that with a diverse set of related tasks, this multitask finetuning leads to reduced error in the target task, in comparison to directly adapting the same pretrained model. We quantify the relationship between finetuning tasks and target tasks by diversity and consistency metrics, and further propose a practical task selection algorithm. We substantiate our theoretical claims with extensive empirical evidence. Further, we present results affirming our task selection algorithm adeptly chooses related finetuning tasks, providing advantages to the model performance on target tasks. We believe our study shed new light on the effective adaptation of foundation models to new tasks that lack abundant labels. Our code is available at https://github.com/OliverXUZY/Foudation-Model_Multitask.
• Abstract（参考訳）: ファンデーションモデルは、多くのAI問題の強力なツールとして登場した。 基礎モデルの成功にもかかわらず、新しいタスク、特に限定ラベルを持つタスクへの効果的な適応は未解決の問題であり、理論的理解を欠いている。 視覚とNLPが最近成功した新しいソリューションは、限られたラベル付きサンプルで対象タスクに適応する前に、関連するタスクの選択に関する基礎モデルを微調整することである。 本稿では,このマルチタスクファインタニング手法の理論的正当性について検討する。 理論解析の結果,このマルチタスクの微調整は,同じ事前学習モデルを直接適用することに比べ,対象タスクの誤差を減少させることが明らかとなった。 タスクの微調整と対象タスクの関係を多様性と一貫性の指標を用いて定量化し,より実用的なタスク選択アルゴリズムを提案する。 我々は理論的な主張を広範な実証的な証拠で裏付ける。 さらに,対象タスクのモデル性能に有利な,関連する微調整タスクを適切に選択するタスク選択アルゴリズムを肯定する結果を提示する。 我々の研究は、豊富なラベルを欠いた新しいタスクに基礎モデルの効果的な適応に新たな光を当てたと信じている。 私たちのコードはhttps://github.com/OliverXUZY/Foudation-Model_Multitaskで利用可能です。

関連論文リスト

• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Tint Your Models Task-wise for Improved Multi-task Model Merging [17.496018757317824]
  本稿では,各タスクに1つのタスク固有のレイヤをトレーニング可能な調整として導入するテストタイムアプローチであるModel Tintingを提案する。 提案手法は, 統合係数とタスク固有層を併用することにより, タスク競合を最小限のコストで効果的に軽減する。 本手法は,コンピュータビジョンと自然言語処理の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• Optimizing Dense Visual Predictions Through Multi-Task Coherence and Prioritization [7.776434991976473]
  マルチタスク学習(MTL)は、複数のタスクの同時トレーニングを含む。 本稿では,高密度視覚タスクに特化して設計された高度MTLモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-04T10:05:47Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Knowledge Distillation for Multi-task Learning [38.20005345733544]
  マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。 本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T08:02:42Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。