論文の概要: Multi-Domain Multi-Task Rehearsal for Lifelong Learning

• arxiv url: http://arxiv.org/abs/2012.07236v1
• Date: Mon, 14 Dec 2020 03:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-09 09:56:56.575173
• Title: Multi-Domain Multi-Task Rehearsal for Lifelong Learning
• Title（参考訳）: 生涯学習のためのマルチドメインマルチタスクリハーサル
• Authors: Fan Lyu, Shuai Wang, Wei Feng, Zihan Ye, Fuyuan Hu, Song Wang
• Abstract要約: マルチドメインマルチタスク(MDMT)リハーサルを提案し、古いタスクと新しいタスクを並列かつ均等にトレーニングし、タスク間の分離を破る。 具体的には、クラス内/タスク間のコンパクト性とクラス間/タスク間の矛盾を促進するために、2レベルの角度マージン損失が提案される。 さらに,従来のタスクのドメインシフトにさらに対処するために,メモリ上の任意のエピソード蒸留損失を,古いタスク毎の知識を固定するために提案する。
• 参考スコア（独自算出の注目度）: 16.02037222114105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rehearsal, seeking to remind the model by storing old knowledge in lifelong learning, is one of the most effective ways to mitigate catastrophic forgetting, i.e., biased forgetting of previous knowledge when moving to new tasks. However, the old tasks of the most previous rehearsal-based methods suffer from the unpredictable domain shift when training the new task. This is because these methods always ignore two significant factors. First, the Data Imbalance between the new task and old tasks that makes the domain of old tasks prone to shift. Second, the Task Isolation among all tasks will make the domain shift toward unpredictable directions; To address the unpredictable domain shift, in this paper, we propose Multi-Domain Multi-Task (MDMT) rehearsal to train the old tasks and new task parallelly and equally to break the isolation among tasks. Specifically, a two-level angular margin loss is proposed to encourage the intra-class/task compactness and inter-class/task discrepancy, which keeps the model from domain chaos. In addition, to further address domain shift of the old tasks, we propose an optional episodic distillation loss on the memory to anchor the knowledge for each old task. Experiments on benchmark datasets validate the proposed approach can effectively mitigate the unpredictable domain shift.
• Abstract（参考訳）: リハーサルは、古い知識を生涯学習に保存することでモデルを思い出そうとするものであり、新しいタスクに移行する際に過去の知識を忘れてしまうような破滅的な忘れを緩和する最も効果的な方法の1つである。 しかし、最も以前のリハーサルベースのメソッドの古いタスクは、新しいタスクをトレーニングする際に予測不能なドメインシフトに苦しむ。 これは、これらの手法が常に2つの重要な要素を無視しているためである。 まず、新しいタスクと古いタスクの間のデータの不均衡により、古いタスクのドメインがシフトしやすくなる。 第2に,すべてのタスク間のタスクの分離により,予測不能な方向へのドメインシフトがもたらされる。予測不能なドメインシフトに対処するため,本稿では,従来のタスクと新しいタスクを並列かつ均等に訓練するために,マルチドメインマルチタスク(mdmt)リハーサルを提案する。 具体的には、クラス内/タスク間のコンパクトさとクラス間/タスク間の不一致を奨励するために、2段階の角マージンの損失が提案されている。 さらに,従来のタスクのドメインシフトにさらに対処するために,メモリ上の任意のエピソード蒸留損失を,古いタスク毎の知識を固定するために提案する。 提案手法を検証したベンチマークデータセットの実験は、予測不能なドメインシフトを効果的に軽減する。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Clustering-based Domain-Incremental Learning [4.835091081509403]
  連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。 動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。 提案手法の有効性と将来性を示す。
  論文  参考訳（メタデータ） (2023-09-21T13:49:05Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
  少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。 そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。 次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
  論文  参考訳（メタデータ） (2022-04-07T15:29:27Z)
• TRGP: Trust Region Gradient Projection for Continual Learning [39.99577526417276]
  破滅的な忘れは継続的な学習における大きな課題の1つだ。 本稿では,フォワード・ナレッジ・トランスファーを容易にするため,信頼領域のグラディエント・プロジェクションを提案する。 提案手法は,最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-02-07T04:21:54Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)
• Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
  我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-09-27T01:28:10Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)
• Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
  本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-23T18:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。