論文の概要: Dynamic Task Vector Grouping for Efficient Multi-Task Prompt Tuning

• arxiv url: http://arxiv.org/abs/2503.18063v1
• Date: Sun, 23 Mar 2025 13:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:17.382295
• Title: Dynamic Task Vector Grouping for Efficient Multi-Task Prompt Tuning
• Title（参考訳）: 効率的なマルチタスクプロンプトチューニングのための動的タスクベクトルグルーピング
• Authors: Pieyi Zhang, Richong Zhang, Zhijie Nie,
• Abstract要約: マルチタスクプロンプトチューニングでは、複数の高ソースのタスクを使用して、低ソースのターゲットタスクのパフォーマンスを改善する。 既存のアプローチは、訓練されたソフトプロンプトを、すべてのソースタスクまたは単一の高相のソースタスクを1回だけ繰り返して転送する。 最適な転送性能は、ソースタスクの組み合わせによってもたらされることがよくあります。
• 参考スコア（独自算出の注目度）: 20.37803751979975
• License:
• Abstract: Multi-task prompt tuning utilizes multiple high-resource source tasks to improve performance on low-source target tasks. Existing approaches transfer the soft prompt trained by combining all source tasks or a single ``high-similar'' source task one-time-only. However, we find that the optimal transfer performance often comes from a combination of source tasks, which is neither one nor all. Further, we find that the similarity between source and target tasks also changes dynamically during fine-tuning after transfering, making similarity calculation in the initiation stage inadequate. To address these issues, we propose a method called Dynamic Task Vector Grouping (DTVG), whose core ideas contain (1) measuring the task similarity with task vectors instead of soft prompt, (2) grouping the optimal source task combination based on two metrics: {\it target similarity} and {\it knowledge consistency}; (3) dynamically updating the combination in each iteration step. Extensive experiments on the 26 NLP datasets under different settings demonstrate that DTVG effectively groups similar source tasks while reducing negative transfer, achieving the start-of-art performance.
• Abstract（参考訳）: マルチタスクプロンプトチューニングでは、複数の高ソースのタスクを使用して、低ソースのターゲットタスクのパフォーマンスを改善する。 既存のアプローチは、訓練されたソフトプロンプトを、すべてのソースタスクまたは単一の `high-similar'' ソースタスクを1回だけ組み合わせて転送する。 しかし、最適な転送性能はソースタスクの組み合わせから生じることが多い。 さらに,移動後の微調整において,ソースタスクとターゲットタスクの類似性も動的に変化し,開始段階での類似性計算が不十分であることが判明した。 これらの課題に対処するために,(1)ソフトプロンプトの代わりにタスクベクトルとタスクベクトルの類似度を測定すること,(2)目標類似度と知識整合性に基づく最適なソースタスクの組み合わせをグループ化すること,(3)イテレーションの各ステップで組み合わせを動的に更新すること,を含むDTVG(Dynamic Task Vector Grouping)と呼ばれる手法を提案する。 異なる設定下で26のNLPデータセットに対する大規模な実験により、DTVGは、負の転送を減らし、最先端のパフォーマンスを達成するとともに、類似のソースタスクを効果的にグループ化することを示した。

関連論文リスト

• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer [0.6053347262128919]
  調律されたソフトプロンプトの重みとランダムな初期化の要素的差分によって生成されるタスクプロンプトベクトルを導入する。 我々は,タスクプロンプトベクトルを低リソース設定で使用して,類似タスクのプロンプトチューニングを効果的に初期化することを示す。 これにより、異なるタスクから事前訓練されたベクトルで即時算術を行うことができる。
  論文  参考訳（メタデータ） (2024-08-02T09:00:03Z)
• DMTG: One-Shot Differentiable Multi-Task Grouping [32.72240053032646]
  MTG(Multi-Task Grouping)による多タスク学習(Multi-Task Learning, MTL)の実現を目指す。 本稿では,2N候補から最高のタスク群を同時に同定し,高次タスク親和性をフル活用したモデル重みを1ショットで同時に訓練することを提案する。
  論文  参考訳（メタデータ） (2024-07-06T13:54:00Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
  マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
  論文  参考訳（メタデータ） (2023-03-06T03:25:59Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Distributed Primal-Dual Optimization for Online Multi-Task Learning [22.45069527817333]
  本稿では,対数学習におけるタスク固有のノイズを捕捉し,実行時効率でプロジェクションフリーな更新を行う適応的原始双対アルゴリズムを提案する。 我々のモデルは、エネルギー不足や帯域制限のあるタスクが更新を延期できるようにするため、分散型の周期接続タスクに適しています。 実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2020-04-02T23:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。