論文の概要: Mitigate Negative Transfer with Similarity Heuristic Lifelong Prompt Tuning

• arxiv url: http://arxiv.org/abs/2406.12251v1
• Date: Tue, 18 Jun 2024 03:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 22:49:04.306174
• Title: Mitigate Negative Transfer with Similarity Heuristic Lifelong Prompt Tuning
• Title（参考訳）: 類似性ヒューリスティック・ライフロング・プロンプトチューニングによる否定的伝達の軽減
• Authors: Chenyuan Wu, Gangwei Jiang, Defu Lian,
• Abstract要約: 本稿では,Simisity Heuristic Lifelong Prompt Tuning(SH)フレームワークを提案する。 SHは、学習可能な類似度メトリックを利用することで、タスクを2つの異なるサブセットに分割する。 実験の結果,SHは生涯学習ベンチマークにおいて最先端技術よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.949872705635084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong prompt tuning has significantly advanced parameter-efficient lifelong learning with its efficiency and minimal storage demands on various tasks. Our empirical studies, however, highlights certain transferability constraints in the current methodologies: a universal algorithm that guarantees consistent positive transfer across all tasks is currently unattainable, especially when dealing dissimilar tasks that may engender negative transfer. Identifying the misalignment between algorithm selection and task specificity as the primary cause of negative transfer, we present the Similarity Heuristic Lifelong Prompt Tuning (SHLPT) framework. This innovative strategy partitions tasks into two distinct subsets by harnessing a learnable similarity metric, thereby facilitating fruitful transfer from tasks regardless of their similarity or dissimilarity. Additionally, SHLPT incorporates a parameter pool to combat catastrophic forgetting effectively. Our experiments shows that SHLPT outperforms state-of-the-art techniques in lifelong learning benchmarks and demonstrates robustness against negative transfer in diverse task sequences.
• Abstract（参考訳）: ライフロング・プロンプト・チューニングは、その効率性と様々なタスクにおける最小限の記憶要求により、パラメータ効率のよい生涯学習を著しく向上させた。 しかしながら、我々の経験的研究は、現在の手法におけるある種の伝達可能性の制約を強調している。全てのタスクに対して一貫した正の転送を保証する普遍的アルゴリズムは、特に負の転送を伴う可能性のある異種タスクを扱う場合、現在達成不可能である。 アルゴリズム選択とタスク特異性の相違を負の伝達の主因として同定し,Simisity Heuristic Lifelong Prompt Tuning (SHLPT) フレームワークを提案する。 この革新的な戦略は、学習可能な類似度指標を利用することで、タスクを2つの異なるサブセットに分割し、その類似性や相似性に関わらず、タスクから実りある移行を容易にする。 さらに、SHLPTにはパラメータプールが組み込まれ、破滅的な忘れを効果的に防ぐことができる。 実験の結果,SHLPTは生涯学習ベンチマークにおいて最先端技術よりも優れており,多様なタスクシーケンスにおける負の転送に対する堅牢性を示している。

関連論文リスト

• Enabling Asymmetric Knowledge Transfer in Multi-Task Learning with Self-Auxiliaries [4.031100721019478]
  本研究では,知識伝達が他者の学習を妨げることなく,特定のタスクの学習を支援する非対称なタスク関係について検討する。 本研究では,非対称にタスク間の知識を柔軟に伝達する学習プロセスに,自己辞書と呼ばれる追加のクローンタスクを含む最適化戦略を提案する。 非対称な知識伝達は、ベンチマークコンピュータビジョン問題における既存のマルチタスク最適化戦略と比較して、性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-21T10:57:25Z)
• Disentangling and Mitigating the Impact of Task Similarity for Continual Learning [1.3597551064547502]
  部分的に類似したタスクの継続的な学習は、人工知能ニューラルネットワークの課題となる。 高い入力特徴類似性と低い読み出し類似性は、知識伝達と保持の両方において破滅的である。 フィッシャー情報量に基づく重み正規化は,タスクの類似性にかかわらず,保持率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-30T16:40:07Z)
• Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes [61.22448274621503]
  現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。 本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。 一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-08T03:08:40Z)
• Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
  本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。 提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
  論文  参考訳（メタデータ） (2023-04-11T15:38:21Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。