論文の概要: GRASP: A Rehearsal Policy for Efficient Online Continual Learning

• arxiv url: http://arxiv.org/abs/2308.13646v2
• Date: Wed, 1 May 2024 17:25:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:30:46.664488
• Title: GRASP: A Rehearsal Policy for Efficient Online Continual Learning
• Title（参考訳）: GRASP: 効果的なオンライン連続学習のためのリハーサルポリシー
• Authors: Md Yousuf Harun, Jhair Gallardo, Junyu Chen, Christopher Kanan,
• Abstract要約: ディープニューラルネットワーク(DNN)における継続的な学習は、成長するデータストリームからの知識を漸進的に蓄積する。 一般的な解決策は、過去の観測結果をバッファに保存し、バッファをサンプリングしてDNNを更新する、リハーサルである。 そこで我々はGRASPと呼ばれる新しいサンプル選択ポリシーを提案し、まず最も原型的(容易な)サンプルを選択し、その後徐々に原型的(より硬い)サンプルを選択する。
• 参考スコア（独自算出の注目度）: 19.277806222767964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) in deep neural networks (DNNs) involves incrementally accumulating knowledge in a DNN from a growing data stream. A major challenge in CL is that non-stationary data streams cause catastrophic forgetting of previously learned abilities. A popular solution is rehearsal: storing past observations in a buffer and then sampling the buffer to update the DNN. Uniform sampling in a class-balanced manner is highly effective, and better sample selection policies have been elusive. Here, we propose a new sample selection policy called GRASP that selects the most prototypical (easy) samples first and then gradually selects less prototypical (harder) examples. GRASP has little additional compute or memory overhead compared to uniform selection, enabling it to scale to large datasets. Compared to 17 other rehearsal policies, GRASP achieves higher accuracy in CL experiments on ImageNet. Compared to uniform balanced sampling, GRASP achieves the same performance with 40% fewer updates. We also show that GRASP is effective for CL on five text classification datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)における連続学習(CL)は、成長するデータストリームからDNN内の知識を漸進的に蓄積する。 CLの大きな課題は、非定常データストリームが、以前に学習した能力を壊滅的に忘れてしまうことである。 一般的な解決策は、過去の観測結果をバッファに保存し、バッファをサンプリングしてDNNを更新する、リハーサルである。 クラスバランスの取れた一様サンプリングは非常に効果的であり,より優れたサンプル選択ポリシーが提案されている。 そこで我々はGRASPと呼ばれる新しいサンプル選択ポリシーを提案し、まず最も原型的(容易な)サンプルを選択し、その後徐々に原型的(より硬い)サンプルを選択する。 GRASPは、均一な選択に比べて計算やメモリのオーバーヘッドがほとんどなく、大規模なデータセットにスケールできる。 他の17のリハーサルポリシーと比較して、GRASPはImageNet上のCL実験で高い精度を達成する。 均一なバランスの取れたサンプリングと比較すると、GRASPは40%の更新で同じパフォーマンスを実現している。 また、GRASPは5つのテキスト分類データセット上でCLに有効であることを示す。

関連論文リスト

• Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• RPLKG: Robust Prompt Learning with Knowledge Graph [11.893917358053004]
  知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。 知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。 RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-21T08:22:58Z)
• Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance [1.2599533416395767]
  我々は、格納されたトレーニングデータのサイズを制限するデータ選択戦略に焦点を当てる。 データ選択基準の正しい組み合わせを用いることで、分類器を適応させ、性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-10T02:36:20Z)
• Active Learning at the ImageNet Scale [43.595076693347835]
  本研究では,画像ネット上でのアクティブラーニング(AL)と事前学習(SSP)の組み合わせについて検討する。 学習者が選択したクラス不均衡なサンプルから,小型の玩具データセットのパフォーマンスがImageNetのパフォーマンスを表すものではないことが判明した。 本稿では、ランダムサンプリングを一貫して上回る、単純でスケーラブルなALアルゴリズムであるBa balanced Selection (BASE)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T02:48:51Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Hop Sampling: A Simple Regularized Graph Learning for Non-Stationary Environments [12.251253742049437]
  グラフ表現学習は、ソーシャルネットワーク分析など、幅広いアプリケーションで人気を集めている。 グラフニューラルネットワーク(GNN)を現実のアプリケーションに適用することは、静止しない環境のため、依然として難しい。 ホップサンプリング(Hop Smpling)は,GNNの過剰漁を効果的に防止できる簡単な正規化手法である。
  論文  参考訳（メタデータ） (2020-06-26T10:22:57Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。