論文の概要: Online Continual Learning Without the Storage Constraint

• arxiv url: http://arxiv.org/abs/2305.09253v1
• Date: Tue, 16 May 2023 08:03:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 15:45:17.304961
• Title: Online Continual Learning Without the Storage Constraint
• Title（参考訳）: ストレージ制約のないオンライン連続学習
• Authors: Ameya Prabhu, Zhipeng Cai, Puneet Dokania, Philip Torr, Vladlen Koltun, Ozan Sener
• Abstract要約: ストレージ制約を緩和し,固定的かつ限定的な経済予算を重視することで,オンライン連続学習の課題を考察する。 我々は、小さな計算予算の下で、受信データストリーム全体をコンパクトに保存し、活用できる簡単なアルゴリズムを提供する。 712クラスに39万枚の画像を持つCLOC(Continuous LOCalization)と,10,788クラスに580万枚の画像を持つCGLM(Continuous Google Landmarks V2)という,2つの大規模OCLデータセットに新たな技術状況を設定した。
• 参考スコア（独自算出の注目度）: 83.92584104170362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout the agent's lifetime. However, the growing affordability of data storage highlights a broad range of applications that do not adhere to these assumptions. In these cases, the primary concern lies in managing computational expenditures rather than storage. In this paper, we target such settings, investigating the online continual learning problem by relaxing storage constraints and emphasizing fixed, limited economical budget. We provide a simple algorithm that can compactly store and utilize the entirety of the incoming data stream under tiny computational budgets using a kNN classifier and universal pre-trained feature extractors. Our algorithm provides a consistency property attractive to continual learning: It will never forget past seen data. We set a new state of the art on two large-scale OCL datasets: Continual LOCalization (CLOC), which has 39M images over 712 classes, and Continual Google Landmarks V2 (CGLM), which has 580K images over 10,788 classes -- beating methods under far higher computational budgets than ours in terms of both reducing catastrophic forgetting of past data and quickly adapting to rapidly changing data streams. We provide code to reproduce our results at \url{https://github.com/drimpossible/ACM}.
• Abstract（参考訳）: オンライン連続学習(OCL)の研究は、主に、エージェントの生涯を通して、固定された限られたストレージ割り当てで破滅的な忘れを緩和することに焦点を当てている。 しかし、データストレージの可用性の増大は、これらの前提に従わない幅広いアプリケーションを強調している。 これらのケースでは、主な関心事はストレージではなく計算費用の管理である。 本稿では,ストレージの制約を緩和し,固定的な経済予算を強調することで,オンライン連続学習問題を調査する。 knn分類器とuniversal pre-trained feature extractorを用いて、小さな計算予算で入ってくるデータストリーム全体をコンパクトに保存し、活用できる簡単なアルゴリズムを提供する。 私たちのアルゴリズムは、連続的な学習に魅力的な一貫性特性を提供します。 712のクラスで39mのイメージを持つcontinual localization(cloc)と、10,788のクラスで580kのイメージを持つcontinual google landmarks v2(cglm)です。 結果の再現は \url{https://github.com/drimpossible/ACM} で行います。

関連論文リスト

• Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling [19.447914903112366]
  本稿では,演算およびメモリ予算の指標として,Byteにおける浮動小数点演算と総メモリサイズを提案する。 CL法を限定的な全予算で改善するために,より少ない情報バッチのために層を更新しない適応層凍結を提案する。 さらに,より少ないイテレーションでランダム検索を使用することで,モデルが同じ量の知識を学習できるメモリ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T16:00:00Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Online Continual Learning under Extreme Memory Constraints [40.80045285324969]
  メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。 MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。 正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。