論文の概要: Online Continual Learning Without the Storage Constraint

• arxiv url: http://arxiv.org/abs/2305.09253v2
• Date: Thu, 2 Nov 2023 06:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:44:18.368486
• Title: Online Continual Learning Without the Storage Constraint
• Title（参考訳）: ストレージ制約のないオンライン連続学習
• Authors: Ameya Prabhu, Zhipeng Cai, Puneet Dokania, Philip Torr, Vladlen Koltun, Ozan Sener
• Abstract要約: 我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。 高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。 2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
• 参考スコア（独自算出の注目度）: 67.66235695269839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout an agent's lifetime. However, a broad range of real-world applications are primarily constrained by computational costs rather than storage limitations. In this paper, we target such applications, investigating the online continual learning problem under relaxed storage constraints and limited computational budgets. We contribute a simple algorithm, which updates a kNN classifier continually along with a fixed, pretrained feature extractor. We selected this algorithm due to its exceptional suitability for online continual learning. It can adapt to rapidly changing streams, has zero stability gap, operates within tiny computational budgets, has low storage requirements by only storing features, and has a consistency property: It never forgets previously seen data. These attributes yield significant improvements, allowing our proposed algorithm to outperform existing methods by over 20% in accuracy on two large-scale OCL datasets: Continual LOCalization (CLOC) with 39M images and 712 classes and Continual Google Landmarks V2 (CGLM) with 580K images and 10,788 classes, even when existing methods retain all previously seen images. Furthermore, we achieve this superior performance with considerably reduced computational and storage expenses. We provide code to reproduce our results at github.com/drimpossible/ACM.
• Abstract（参考訳）: 従来のオンライン継続学習(ocl)の研究は、エージェントの生涯を通して、固定的かつ限定的なストレージ割り当てによる破滅的な記憶の緩和に重点を置いてきた。 しかし、現実世界の幅広いアプリケーションは主にストレージ制限よりも計算コストに制約されている。 本稿では,ストレージ制約の緩和と計算予算の制限下でのオンライン連続学習問題を調査することを目的とした。 我々は,kn分類器を連続的に更新する単純なアルゴリズムと,事前学習した特徴抽出器を提案する。 オンライン連続学習に非常に適しているため,このアルゴリズムを選択した。 急速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能の保存だけでストレージ要件の少ない、一貫性のある特性を持つ。 これらの属性は大幅に改善され、提案アルゴリズムは2つの大規模OCLデータセットに対して20%以上の精度で既存のメソッドを上回り、39Mイメージと712クラスを持つ連続LOCalization (CLOC) と、580Kイメージと10,788クラスを持つ連続Google Landmarks V2 (CGLM) である。 さらに,計算と記憶のコストを大幅に削減して,この優れた性能を実現する。 github.com/drimpossible/ACMで結果を再現するコードを提供します。

関連論文リスト

• Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling [19.447914903112366]
  本稿では,演算およびメモリ予算の指標として,Byteにおける浮動小数点演算と総メモリサイズを提案する。 CL法を限定的な全予算で改善するために,より少ない情報バッチのために層を更新しない適応層凍結を提案する。 さらに,より少ないイテレーションでランダム検索を使用することで,モデルが同じ量の知識を学習できるメモリ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T16:00:00Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Online Continual Learning under Extreme Memory Constraints [40.80045285324969]
  メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。 MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。 正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。