論文の概要: F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.15751v2
• Date: Mon, 04 Nov 2024 08:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:50.294332
• Title: F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning
• Title（参考訳）: F-OAL: 授業インクリメンタル学習における高速学習と低メモリフットプリントによるフォワードオンリーオンライン分析学習
• Authors: Huiping Zhuang, Yuchen Liu, Run He, Kai Tong, Ziqian Zeng, Cen Chen, Yi Wang, Lap-Pui Chau,
• Abstract要約: Online Class Incremental Learning (OCIL)は、ミニバッチにデータが到着し、以前のデータがアクセスできないようなモデルを段階的にトレーニングすることを目的としている。 OCILにおける大きな課題は、カタストロフィック・フォージッティング(Caastrophic Forgetting)、すなわち、以前に学んだ知識の喪失である。 本稿では,前向きのみのオンライン分析学習(F-OAL)を提案する。 従来の方法とは異なり、F-OALはバックプロパゲーションに依存しておらず、フォワードのみであり、メモリ使用量と計算時間を著しく削減している。
• 参考スコア（独自算出の注目度）: 28.772554281694166
• License:
• Abstract: Online Class Incremental Learning (OCIL) aims to train models incrementally, where data arrive in mini-batches, and previous data are not accessible. A major challenge in OCIL is Catastrophic Forgetting, i.e., the loss of previously learned knowledge. Among existing baselines, replay-based methods show competitive results but requires extra memory for storing exemplars, while exemplar-free (i.e., data need not be stored for replay in production) methods are resource-friendly but often lack accuracy. In this paper, we propose an exemplar-free approach--Forward-only Online Analytic Learning (F-OAL). Unlike traditional methods, F-OAL does not rely on back-propagation and is forward-only, significantly reducing memory usage and computational time. Cooperating with a pre-trained frozen encoder with Feature Fusion, F-OAL only needs to update a linear classifier by recursive least square. This approach simultaneously achieves high accuracy and low resource consumption. Extensive experiments on benchmark datasets demonstrate F-OAL's robust performance in OCIL scenarios. Code is available at https://github.com/liuyuchen-cz/F-OAL.
• Abstract（参考訳）: Online Class Incremental Learning (OCIL)は、ミニバッチにデータが到着し、以前のデータがアクセスできないようなモデルを段階的にトレーニングすることを目的としている。 OCILにおける大きな課題は、カタストロフィック・フォージッティング(Caastrophic Forgetting)、すなわち、以前に学んだ知識の喪失である。 既存のベースラインの中では、リプレイベースのメソッドは競合する結果を示すが、模範を格納するために余分なメモリを必要とする。 本稿では,前向きのみのオンライン分析学習(F-OAL)を提案する。 従来の方法とは異なり、F-OALはバックプロパゲーションに依存しておらず、フォワードのみであり、メモリ使用量と計算時間を著しく削減している。 F-OALは、Function Fusionと事前訓練された冷凍エンコーダと連携して、再帰的最小二乗で線形分類器を更新するだけである。 このアプローチは、高い精度と低いリソース消費を同時に達成する。 ベンチマークデータセットに関する大規模な実験は、OCILシナリオにおけるF-OALの堅牢なパフォーマンスを示している。 コードはhttps://github.com/liuyuchen-cz/F-OAL.comで入手できる。

関連論文リスト

• Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning [19.671792951465]
  インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。 リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。 データ蒸留(DD)は、大規模な実データセットを、より情報に適合した合成例のセットに凝縮することで、模範バッファのサイズを減らすことができる。 本稿では,歴史に残るチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な改良を提案する。
  論文  参考訳（メタデータ） (2024-10-20T12:13:32Z)
• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Class-incremental Learning using a Sequence of Partial Implicitly Regularized Classifiers [0.0]
  クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。 CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-04T10:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。