論文の概要: Improving information retention in large scale online continual learning

• arxiv url: http://arxiv.org/abs/2210.06401v1
• Date: Wed, 12 Oct 2022 16:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:05:32.554605
• Title: Improving information retention in large scale online continual learning
• Title（参考訳）: 大規模オンライン連続学習における情報保持の改善
• Authors: Zhipeng Cai and Vladlen Koltun and Ozan Sener
• Abstract要約: オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
• 参考スコア（独自算出の注目度）: 99.73847522194549
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Given a stream of data sampled from non-stationary distributions, online continual learning (OCL) aims to adapt efficiently to new data while retaining existing knowledge. The typical approach to address information retention (the ability to retain previous knowledge) is keeping a replay buffer of a fixed size and computing gradients using a mixture of new data and the replay buffer. Surprisingly, the recent work (Cai et al., 2021) suggests that information retention remains a problem in large scale OCL even when the replay buffer is unlimited, i.e., the gradients are computed using all past data. This paper focuses on this peculiarity to understand and address information retention. To pinpoint the source of this problem, we theoretically show that, given limited computation budgets at each time step, even without strict storage limit, naively applying SGD with constant or constantly decreasing learning rates fails to optimize information retention in the long term. We propose using a moving average family of methods to improve optimization for non-stationary objectives. Specifically, we design an adaptive moving average (AMA) optimizer and a moving-average-based learning rate schedule (MALR). We demonstrate the effectiveness of AMA+MALR on large-scale benchmarks, including Continual Localization (CLOC), Google Landmarks, and ImageNet. Code will be released upon publication.
• Abstract（参考訳）: 非定常分布からサンプリングされたデータのストリームが与えられると、オンライン継続学習(ocl)は、既存の知識を保持しながら、新しいデータに効率的に適応することを目的としている。 情報保持(以前の知識を保持する能力)に対処する典型的なアプローチは、新しいデータとリプレイバッファの混合を用いて、一定サイズのリプレイバッファと計算勾配を維持することである。 驚いたことに、最近の研究(Cai et al., 2021)は、リプレイバッファが無制限である場合でも、情報の保持が大規模なOCLにおいて問題であり続けることを示唆している。 本稿では,情報保持に関するこの特異性に注目し,対処する。 この問題の原因を特定するために,厳密なストレージ制限がなくても,時間毎に限られた計算予算が与えられた場合,sgdを定常的あるいは定常的に減少する学習率でネイティブに適用しても,長期的情報保持の最適化に失敗することを理論的に示す。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。 具体的には、適応移動平均(AMA)最適化と移動平均学習率スケジュール(MALR)を設計する。 本稿では,CLOC(Continuous Localization)やGoogle Landmarks,ImageNetなど,大規模ベンチマークにおけるAMA+MALRの有効性を示す。 コードは出版時に公開される。

関連論文リスト

• Buffer-based Gradient Projection for Continual Federated Learning [16.879024856283323]
  Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。 標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
  論文  参考訳（メタデータ） (2024-09-03T03:50:19Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Adaptive Memory Replay for Continual Learning [29.333341368722653]
  新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」 連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。 我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T22:01:56Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach [58.911515417156174]
  我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。 本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。 また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
  論文  参考訳（メタデータ） (2023-12-01T01:30:49Z)
• Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right? [135.71855998537347]
  オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
  論文  参考訳（メタデータ） (2023-05-16T08:29:33Z)
• Online Continual Learning Without the Storage Constraint [67.66235695269839]
  我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。 高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。 2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
  論文  参考訳（メタデータ） (2023-05-16T08:03:07Z)
• Efficient Bayesian Updates for Deep Learning via Laplace Approximations [1.5996841879821277]
  本稿では,ディープニューラルネットワークのための新しいベイズ更新手法を提案する。 ラプラス近似のガウス後部分布に二階最適化手法を利用する。 大規模な評価調査では、我々の更新がコストのかかるリトレーニングの高速で競争力のある代替手段であることを確認しています。
  論文  参考訳（メタデータ） (2022-10-12T12:16:46Z)
• Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
  フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。 現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。 この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
  論文  参考訳（メタデータ） (2022-07-17T13:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。