論文の概要: Class-Adaptive Sampling Policy for Efficient Continual Learning

• arxiv url: http://arxiv.org/abs/2311.16485v1
• Date: Mon, 27 Nov 2023 02:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:13:36.107394
• Title: Class-Adaptive Sampling Policy for Efficient Continual Learning
• Title（参考訳）: 効果的な連続学習のためのクラス適応型サンプリングポリシー
• Authors: Hossein Rezaei, Mohammad Sabokrou
• Abstract要約: バッファ内のストレージ空間を動的に割り当てる「クラス適応サンプリングポリシー」(CASP)を提案する。 CASPはバッファ空間を適応的に管理し、特定のクラスがバッファの大部分を占めながら、他のクラスのストレージを削減できる。
• 参考スコア（独自算出の注目度）: 13.000294821598043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to acquire new knowledge while preserving information from previous experiences without forgetting. Though buffer-based methods (i.e., retaining samples from previous tasks) have achieved acceptable performance, determining how to allocate the buffer remains a critical challenge. Most recent research focuses on refining these methods but often fails to sufficiently consider the varying influence of samples on the learning process, and frequently overlooks the complexity of the classes/concepts being learned. Generally, these methods do not directly take into account the contribution of individual classes. However, our investigation indicates that more challenging classes necessitate preserving a larger number of samples compared to less challenging ones. To address this issue, we propose a novel method and policy named 'Class-Adaptive Sampling Policy' (CASP), which dynamically allocates storage space within the buffer. By utilizing concepts of class contribution and difficulty, CASP adaptively manages buffer space, allowing certain classes to occupy a larger portion of the buffer while reducing storage for others. This approach significantly improves the efficiency of knowledge retention and utilization. CASP provides a versatile solution to boost the performance and efficiency of CL. It meets the demand for dynamic buffer allocation, accommodating the varying contributions of different classes and their learning complexities over time.
• Abstract（参考訳）: 継続学習(CL)は、忘れずに過去の経験から情報を保存しながら、新しい知識を獲得することを目的としている。 バッファベースのメソッド(すなわち、以前のタスクからサンプルを保持する)は許容可能なパフォーマンスを達成したが、バッファの割り当て方法の決定は依然として重要な課題である。 最近の研究はこれらの方法の洗練に重点を置いているが、サンプルが学習プロセスに与える影響を十分に考慮できていない場合が多く、学習されるクラス/コンセプトの複雑さをしばしば見落としている。 一般に、これらの方法は個々のクラスの貢献を直接考慮しない。 しかし,本研究では,より難易度の高いクラスは,より難易度の高いクラスに比べて多くのサンプルを保存する必要があることを示唆している。 この問題に対処するため,バッファ内のストレージ空間を動的に割り当てる「クラス適応サンプリングポリシー(CASP)」という新しい手法とポリシーを提案する。 クラスコントリビューションと難易度の概念を活用することで、CASPはバッファ空間を適応的に管理し、特定のクラスがバッファの大部分を占めながら、他のクラスのストレージを削減できる。 このアプローチは知識保持と利用の効率を大幅に向上させる。 CASPはCLのパフォーマンスと効率を高める汎用的なソリューションを提供する。 動的バッファ割り当ての要求を満たし、異なるクラスのさまざまなコントリビューションと、時間とともに学習の複雑さを調整します。

関連論文リスト

• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Multimodal Parameter-Efficient Few-Shot Class Incremental Learning [1.9220716793379256]
  FSCIL(Few-Shot Class Incremental Learning)は、いくつかの学習セッションで限られたトレーニング例が利用できる、挑戦的な継続的学習タスクである。 このタスクを成功させるためには、数発のトレーニングセットにおけるバイアス分布に起因する新しいクラスを過度に適合させるのを避ける必要がある。 CPE-CLIPは、最先端の提案と比較してFSCILの性能を著しく改善すると同時に、学習可能なパラメータの数やトレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-08T17:34:15Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection [0.0]
  セマンティックセグメンテーションにおける様々なリプレイ戦略の影響について検討し,クラス・インクリメンタル・セッティングとドメイン・インクリメンタル・セッティングで評価する。 本研究は,クラス増分設定において,バッファ内の異なるクラスに対して一様分布を実現することが重要であることを示唆する。 ドメインインクリメンタルな設定では、学習した特徴表現の分布から一様にサンプリングしたり、中央値のエントロピーを持つサンプルを選択することでバッファサンプルを選択することが最も効果的である。
  論文  参考訳（メタデータ） (2022-09-20T16:32:06Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition [95.93760490301395]
  クラスごとのサンプル数が非バランスである長尾認識の問題は、考慮されます。 これは例の繰り返しサンプリングによるものであり、特徴空間拡張によって対処できると仮定される。 トレーニング中のエポック間の機能のバックトラッキングに基づく,新たな機能拡張戦略であるemanateを提案する。 新たなサンプリング手順であるbreadcrumbは、余分な計算なしで逆のクラスバランスのサンプリングを実装するために導入された。
  論文  参考訳（メタデータ） (2021-05-01T00:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。