論文の概要: GRASP: A Rehearsal Policy for Efficient Online Continual Learning

• arxiv url: http://arxiv.org/abs/2308.13646v1
• Date: Fri, 25 Aug 2023 19:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 20:08:00.968625
• Title: GRASP: A Rehearsal Policy for Efficient Online Continual Learning
• Title（参考訳）: GRASP: 効果的なオンライン連続学習のためのリハーサルポリシー
• Authors: Md Yousuf Harun, Jhair Gallardo, Christopher Kanan
• Abstract要約: ディープニューラルネットワーク(DNN)における継続的な学習は、成長するデータストリームからの知識を漸進的に蓄積する。 リハーサル(rehearsal)は、この問題を軽減し、過去の観測結果をバッファに保存し、学習中にそれらを新しい観測と混ぜる、ポピュラーで効果的な方法である。 クラスインクリメンタルな学習において、従来の研究は、単純なクラスバランスのランダム選択ポリシーがより洗練された手法よりも優れていることを示した。 GraSPはまず最も原型(クラス代表)なサンプルを選択し、その後徐々にDNNを更新するより原型(ハード)の少ないサンプルを選択する。
• 参考スコア（独自算出の注目度）: 16.90553100629306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) in deep neural networks (DNNs) involves incrementally accumulating knowledge in a DNN from a growing data stream. A major challenge in CL is that non-stationary data streams cause catastrophic forgetting of previously learned abilities. Rehearsal is a popular and effective way to mitigate this problem, which is storing past observations in a buffer and mixing them with new observations during learning. This leads to a question: Which stored samples should be selected for rehearsal? Choosing samples that are best for learning, rather than simply selecting them at random, could lead to significantly faster learning. For class incremental learning, prior work has shown that a simple class balanced random selection policy outperforms more sophisticated methods. Here, we revisit this question by exploring a new sample selection policy called GRASP. GRASP selects the most prototypical (class representative) samples first and then gradually selects less prototypical (harder) examples to update the DNN. GRASP has little additional compute or memory overhead compared to uniform selection, enabling it to scale to large datasets. We evaluate GRASP and other policies by conducting CL experiments on the large-scale ImageNet-1K and Places-LT image classification datasets. GRASP outperforms all other rehearsal policies. Beyond vision, we also demonstrate that GRASP is effective for CL on five text classification datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)における連続学習(CL)は、成長するデータストリームからDNN内の知識を漸進的に蓄積する。 clの大きな課題は、非定常データストリームが過去の学習能力の壊滅的な忘れを引き起こすことである。 リハーサルは、過去の観察をバッファに保存し、学習中に新しい観察と混ぜ合わせることで、この問題を軽減するための一般的かつ効果的な方法である。 リハーサルのためにどの格納されたサンプルを選択するべきか? ランダムに選択するのではなく、学習に最適なサンプルを選択すると、学習が大幅に速くなります。 クラスインクリメンタル学習では、単純なクラスバランスのランダム選択ポリシがより洗練されたメソッドよりも優れていることが先行研究で示されている。 ここでは、GRASPと呼ばれる新しいサンプル選択ポリシーを検討することで、この問題を再考する。 GRASPはまず最も原型的な(クラス代表)サンプルを選択し、その後徐々にDNNを更新するより原型的な(より硬い)サンプルを選択します。 GRASPは、均一な選択に比べて計算やメモリのオーバーヘッドがほとんどなく、大規模なデータセットにスケールできる。 大規模画像Net-1KおよびPlaces-LT画像分類データセット上でCL実験を行うことでGRASPおよびその他のポリシーを評価する。 他のリハーサル政策に勝る。 ビジョン以外にも、GRASPは5つのテキスト分類データセット上でCLに有効であることを示す。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• RPLKG: Robust Prompt Learning with Knowledge Graph [11.893917358053004]
  知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。 知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。 RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-21T08:22:58Z)
• Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance [1.2599533416395767]
  我々は、格納されたトレーニングデータのサイズを制限するデータ選択戦略に焦点を当てる。 データ選択基準の正しい組み合わせを用いることで、分類器を適応させ、性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-10T02:36:20Z)
• Active Learning at the ImageNet Scale [43.595076693347835]
  本研究では,画像ネット上でのアクティブラーニング(AL)と事前学習(SSP)の組み合わせについて検討する。 学習者が選択したクラス不均衡なサンプルから,小型の玩具データセットのパフォーマンスがImageNetのパフォーマンスを表すものではないことが判明した。 本稿では、ランダムサンプリングを一貫して上回る、単純でスケーラブルなALアルゴリズムであるBa balanced Selection (BASE)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T02:48:51Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• Hop Sampling: A Simple Regularized Graph Learning for Non-Stationary Environments [12.251253742049437]
  グラフ表現学習は、ソーシャルネットワーク分析など、幅広いアプリケーションで人気を集めている。 グラフニューラルネットワーク(GNN)を現実のアプリケーションに適用することは、静止しない環境のため、依然として難しい。 ホップサンプリング(Hop Smpling)は,GNNの過剰漁を効果的に防止できる簡単な正規化手法である。
  論文  参考訳（メタデータ） (2020-06-26T10:22:57Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。