論文の概要: D-CBRS: Accounting For Intra-Class Diversity in Continual Learning

• arxiv url: http://arxiv.org/abs/2207.05897v1
• Date: Wed, 13 Jul 2022 00:08:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 03:52:01.471921
• Title: D-CBRS: Accounting For Intra-Class Diversity in Continual Learning
• Title（参考訳）: D-CBRS:継続的学習におけるクラス内多様性の会計
• Authors: Yasin Findik and Farhad Pourkamali-Anaraki
• Abstract要約: メモリにインスタンスを格納する際のクラス多様性を考慮可能なアルゴリズムであるDiverse-CBRSを提案する。 以上の結果から,D-CBRSはクラス内多様性の高いデータセット上で,最先端のメモリ管理継続学習アルゴリズムよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.6752182911522515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning -- accumulating knowledge from a sequence of learning experiences -- is an important yet challenging problem. In this paradigm, the model's performance for previously encountered instances may substantially drop as additional data are seen. When dealing with class-imbalanced data, forgetting is further exacerbated. Prior work has proposed replay-based approaches which aim at reducing forgetting by intelligently storing instances for future replay. Although Class-Balancing Reservoir Sampling (CBRS) has been successful in dealing with imbalanced data, the intra-class diversity has not been accounted for, implicitly assuming that each instance of a class is equally informative. We present Diverse-CBRS (D-CBRS), an algorithm that allows us to consider within class diversity when storing instances in the memory. Our results show that D-CBRS outperforms state-of-the-art memory management continual learning algorithms on data sets with considerable intra-class diversity.
• Abstract（参考訳）: 継続的学習 -- 一連の学習経験から知識を蓄積する -- は、重要だが挑戦的な問題である。 このパラダイムでは、以前遭遇したインスタンスに対するモデルのパフォーマンスは、追加のデータが見えると大幅に低下する可能性がある。 クラス不均衡なデータを扱う場合、忘れることはさらに悪化する。 以前の作業では、将来のリプレイ用にインスタンスをインテリジェントに格納することで、忘れを減らすことを目的としたリプレイベースのアプローチが提案されていた。 CBRS(Class-Balancing Reservoir Sampling)は、不均衡なデータを扱うことに成功しているが、クラス内の多様性は、クラスの各インスタンスが等しく情報的であることを暗黙的に仮定して説明されていない。 D-CBRS(Diverse-CBRS)は,メモリにインスタンスを格納する際,クラス内の多様性を考慮できるアルゴリズムである。 以上の結果から,D-CBRSはクラス内多様性の高いデータセット上で,最先端のメモリ管理継続学習アルゴリズムよりも優れていた。

関連論文リスト

• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning [19.717868805172323]
  新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
  論文  参考訳（メタデータ） (2024-02-14T06:09:36Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Nonstationary data stream classification with online active learning and siamese neural networks [11.501721946030779]
  予測モデルをオンザフライでトレーニングするオンライン学習方法に対する新たなニーズ。 しかし、一連のオープンな課題は、実際にデプロイを妨げている。 本稿では,オンラインアクティブラーニング,シアムネットワーク,マルチキューメモリを組み合わせることで,これらの課題に対処するActiSiameseアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T17:16:03Z)
• Deep Reinforcement Learning for Multi-class Imbalanced Training [64.9100301614621]
  我々は、極めて不均衡なデータセットをトレーニングするために、強化学習に基づく不均衡な分類フレームワークを導入する。 特注報酬関数とエピソード学習手順を定式化し、特にマルチクラス不均衡トレーニングを扱えるようにした。 実世界の臨床ケーススタディを用いて,提案手法が現状の非バランス学習法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T13:39:59Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Online Learning With Adaptive Rebalancing in Nonstationary Environments [11.501721946030779]
  オンライン学習における非定常データと不均衡データからの学習に関する新たな洞察を提供する。 本稿では,AREBA(Adaptive REBAlancing)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-24T20:40:04Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。