論文の概要: An Investigation of Replay-based Approaches for Continual Learning

• arxiv url: http://arxiv.org/abs/2108.06758v1
• Date: Sun, 15 Aug 2021 15:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 14:54:27.124259
• Title: An Investigation of Replay-based Approaches for Continual Learning
• Title（参考訳）: リプレイに基づく継続的学習手法の検討
• Authors: Benedikt Bagus and Alexander Gepperth
• Abstract要約: 連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
• 参考スコア（独自算出の注目度）: 79.0660895390689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) is a major challenge of machine learning (ML) and describes the ability to learn several tasks sequentially without catastrophic forgetting (CF). Recent works indicate that CL is a complex topic, even more so when real-world scenarios with multiple constraints are involved. Several solution classes have been proposed, of which so-called replay-based approaches seem very promising due to their simplicity and robustness. Such approaches store a subset of past samples in a dedicated memory for later processing: while this does not solve all problems, good results have been obtained. In this article, we empirically investigate replay-based approaches of continual learning and assess their potential for applications. Selected recent approaches as well as own proposals are compared on a common set of benchmarks, with a particular focus on assessing the performance of different sample selection strategies. We find that the impact of sample selection increases when a smaller number of samples is stored. Nevertheless, performance varies strongly between different replay approaches. Surprisingly, we find that the most naive rehearsal-based approaches that we propose here can outperform recent state-of-the-art methods.
• Abstract（参考訳）: 連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的な忘れ物(CF)なしで連続的に複数のタスクを学習する能力を記述する。 最近の研究は、CLが複雑なトピックであることを示している。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望である。 このようなアプローチは、後の処理のために、過去のサンプルのサブセットを専用メモリに格納する。 本稿では,連続学習のリプレイに基づくアプローチを実証的に検討し,その応用可能性を評価する。 選択された最近のアプローチと独自の提案は、共通のベンチマークで比較され、特に異なるサンプル選択戦略のパフォーマンスを評価することに焦点が当てられている。 少数のサンプルが保存されると,サンプル選択の影響が増加することが判明した。 それにもかかわらず、パフォーマンスは異なるリプレイアプローチの間で大きく異なる。 驚いたことに、ここで提案する最もナイーブなリハーサルベースのアプローチは、最新の最先端メソッドを上回ることができる。

関連論文リスト

• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge [7.61140479230184]
  本稿では,不協和検出の希少クラス問題に対する移動学習および能動的学習ソリューションの提案と検討を行う。 我々は、ソーシャルメディアから認知不協和の言語サンプルを収集する、特定のまれなクラス問題に対する実験を行う。 提案手法は,アノテーションをガイドし,最終的にモデルの精度を向上させるためのシンプルで効果的な戦略である。
  論文  参考訳（メタデータ） (2023-05-03T23:29:05Z)
• A baseline on continual learning methods for video action recognition [15.157938674002793]
  継続学習は、古典的な教師付きモデルの長期的制限を解決することを目的としている。 本稿では,映像行動認識における最先端の連続学習手法のベンチマークを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:20:43Z)
• Fast Hierarchical Learning for Few-Shot Object Detection [57.024072600597464]
  転送学習アプローチは、最近、数ショット検出タスクで有望な結果を得た。 これらのアプローチは、ベース検出器の微調整による破滅的な忘れ込みの問題に悩まされる。 この作業における上記の問題に対処する。
  論文  参考訳（メタデータ） (2022-10-10T20:31:19Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。