Fugu-MT 論文翻訳(概要): Dynamically Anchored Prompting for Task-Imbalanced Continual Learning

論文の概要: Dynamically Anchored Prompting for Task-Imbalanced Continual Learning

arxiv url: http://arxiv.org/abs/2404.14721v1
Date: Tue, 23 Apr 2024 03:52:44 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 15:20:15.741886
Title: Dynamically Anchored Prompting for Task-Imbalanced Continual Learning
Title（参考訳）: タスク不均衡型連続学習のための動的アンコレッド・プロンプト
Authors: Chenxing Hong, Yan Jin, Zhiqi Kang, Yizhou Chen, Mengke Li, Yang Lu, Hanzi Wang,
Abstract要約: 既存の継続的な学習文献は、タスクがバランスの取れたデータストリームに到達するという強い前提に大きく依存している。不均衡なタスクは、安定性と可塑性の間のトレードオフを制御するモデルの能力に大きく挑戦する。本稿では、タスクストリーム内のシフトに動的に適応するための1つの一般的なプロンプトのみを保持するプロンプトベースの方法であるDynamically Anchored Prompting (DAP)を提案する。
参考スコア（独自算出の注目度）: 29.20115513597012
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing continual learning literature relies heavily on a strong assumption that tasks arrive with a balanced data stream, which is often unrealistic in real-world applications. In this work, we explore task-imbalanced continual learning (TICL) scenarios where the distribution of task data is non-uniform across the whole learning process. We find that imbalanced tasks significantly challenge the capability of models to control the trade-off between stability and plasticity from the perspective of recent prompt-based continual learning methods. On top of the above finding, we propose Dynamically Anchored Prompting (DAP), a prompt-based method that only maintains a single general prompt to adapt to the shifts within a task stream dynamically. This general prompt is regularized in the prompt space with two specifically designed prompt anchors, called boosting anchor and stabilizing anchor, to balance stability and plasticity in TICL. Remarkably, DAP achieves this balance by only storing a prompt across the data stream, therefore offering a substantial advantage in rehearsal-free CL. Extensive experiments demonstrate that the proposed DAP results in 4.5% to 15% absolute improvements over state-of-the-art methods on benchmarks under task-imbalanced settings. Our code is available at https://github.com/chenxing6666/DAP
Abstract（参考訳）: 既存の継続的な学習文献は、タスクがバランスの取れたデータストリームに現れるという強い仮定に大きく依存している。本研究では,タスクデータの分散が学習プロセス全体にわたって一様でないタスク不均衡連続学習(TICL)シナリオについて検討する。不安定なタスクは、最近のプロンプトベース連続学習法の観点から、安定性と可塑性のトレードオフを制御するモデルの能力に大きく挑戦している。そこで本研究では,タスクストリーム内のシフトに動的に適応するための1つの一般的なプロンプトのみを保持するプロンプトベースの手法であるDynamically Anchored Prompting (DAP)を提案する。この一般的なプロンプトは、TICLの安定性と可塑性のバランスをとるために、ブースティングアンカーと安定化アンカーと呼ばれる2つの特別に設計されたプロンプトアンカーで、プロンプト空間で規則化されている。注目すべきなのは、DAPはデータストリームにプロンプトを格納するだけでこのバランスを達成しているため、リハーサルのないCLでは大きなメリットがあるということだ。広範囲な実験により、提案されたDAPは、タスク不均衡な設定下でのベンチマークにおける最先端の手法に対して4.5%から15%の絶対的な改善をもたらすことが示された。私たちのコードはhttps://github.com/chenxing6666/DAPで利用可能です。

関連論文リスト

Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文参考訳（メタデータ） (2024-05-23T08:43:09Z)
Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
論文参考訳（メタデータ） (2024-03-27T05:38:48Z)
Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
In this proposed a Dual-Learner framework with Cumulative。平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-28T08:48:44Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文参考訳（メタデータ） (2023-07-13T17:59:35Z)
Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。また,スナップショット自己蒸留方式の暗黙正則化器を提案する。我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
論文参考訳（メタデータ） (2023-01-27T18:09:19Z)
Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文参考訳（メタデータ） (2021-12-16T06:17:07Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。