論文の概要: Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach

• arxiv url: http://arxiv.org/abs/2207.06267v1
• Date: Wed, 13 Jul 2022 15:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 11:56:43.120108
• Title: Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach
• Title（参考訳）: Task Agnostic Representation Consolidation: 自己教師型連続学習アプローチ
• Authors: Prashant Bhat, Bahram Zonooz, Elahe Arani
• Abstract要約: 本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
• 参考スコア（独自算出の注目度）: 14.674494335647841
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual learning (CL) over non-stationary data streams remains one of the long-standing challenges in deep neural networks (DNNs) as they are prone to catastrophic forgetting. CL models can benefit from self-supervised pre-training as it enables learning more generalizable task-agnostic features. However, the effect of self-supervised pre-training diminishes as the length of task sequences increases. Furthermore, the domain shift between pre-training data distribution and the task distribution reduces the generalizability of the learned representations. To address these limitations, we propose Task Agnostic Representation Consolidation (TARC), a two-stage training paradigm for CL that intertwines task-agnostic and task-specific learning whereby self-supervised training is followed by supervised learning for each task. To further restrict the deviation from the learned representations in the self-supervised stage, we employ a task-agnostic auxiliary loss during the supervised stage. We show that our training paradigm can be easily added to memory- or regularization-based approaches and provides consistent performance gain across more challenging CL settings. We further show that it leads to more robust and well-calibrated models.
• Abstract（参考訳）: 非定常データストリームに対する連続学習(CL)は、破滅的な忘れがちなディープニューラルネットワーク(DNN)における長年の課題のひとつだ。 clモデルは、より一般化されたタスク非依存の機能を学ぶことができるため、自己教師付き事前トレーニングの恩恵を受ける。 しかし,タスクシーケンスの長さが増加するにつれて,自己指導型事前学習の効果は低下する。 さらに、事前学習データ分布とタスク分布との領域シフトにより、学習表現の一般化性が低下する。 これらの制約に対処するため,タスク非依存型およびタスク特化型学習に介入するCLの2段階トレーニングパラダイムであるタスク非依存型表現統合(TARC)を提案する。 自己教師段階における学習表現からの逸脱をさらに抑制するため、教師段階においてタスク非依存の補助損失を用いる。 我々のトレーニングパラダイムは、メモリや正規化ベースのアプローチに簡単に追加できることを示し、より困難なCL設定に対して一貫したパフォーマンス向上を提供する。 さらに、より堅牢で校正されたモデルにつながることを示す。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
  Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。 AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
  論文  参考訳（メタデータ） (2024-05-22T20:29:15Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Rethinking the Representational Continuity: Towards Unsupervised Continual Learning [45.440192267157094]
  教師なし連続学習(UCL)は、以前獲得した知識を忘れずに一連のタスクを学習することを目的としている。 連続学習には注釈付きデータへの依存は必要ないことを示す。 本稿では,無教師表現に対する破滅的忘れを緩和するために,生涯無教師混合(LUMP)を提案する。
  論文  参考訳（メタデータ） (2021-10-13T18:38:06Z)
• Posterior Meta-Replay for Continual Learning [4.319932092720977]
  連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。 未知のターゲットデータ分布からのサンプル。 ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
  論文  参考訳（メタデータ） (2021-03-01T17:08:35Z)
• Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
  自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。 限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
  論文  参考訳（メタデータ） (2020-12-14T12:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。