論文の概要: Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks

• arxiv url: http://arxiv.org/abs/2501.04897v1
• Date: Thu, 09 Jan 2025 01:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:58:38.083557
• Title: Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks
• Title（参考訳）: オンライン連続学習: アプローチ、課題、ベンチマークの体系的な文献レビュー
• Authors: Seyed Amir Bidaki, Amir Mohammadkhah, Kiyan Rezaee, Faeze Hassani, Sadegh Eskandari, Maziar Salahi, Mohammad M. Ghassemi,
• Abstract要約: オンライン連続学習(OCL)は、機械学習において重要な分野である。 本研究は,OCLに関する総合的なシステム文献レビューを初めて実施する。
• 参考スコア（独自算出の注目度）: 1.3631535881390204
• License:
• Abstract: Online Continual Learning (OCL) is a critical area in machine learning, focusing on enabling models to adapt to evolving data streams in real-time while addressing challenges such as catastrophic forgetting and the stability-plasticity trade-off. This study conducts the first comprehensive Systematic Literature Review (SLR) on OCL, analyzing 81 approaches, extracting over 1,000 features (specific tasks addressed by these approaches), and identifying more than 500 components (sub-models within approaches, including algorithms and tools). We also review 83 datasets spanning applications like image classification, object detection, and multimodal vision-language tasks. Our findings highlight key challenges, including reducing computational overhead, developing domain-agnostic solutions, and improving scalability in resource-constrained environments. Furthermore, we identify promising directions for future research, such as leveraging self-supervised learning for multimodal and sequential data, designing adaptive memory mechanisms that integrate sparse retrieval and generative replay, and creating efficient frameworks for real-world applications with noisy or evolving task boundaries. By providing a rigorous and structured synthesis of the current state of OCL, this review offers a valuable resource for advancing this field and addressing its critical challenges and opportunities. The complete SLR methodology steps and extracted data are publicly available through the provided link: https://github.com/kiyan-rezaee/ Systematic-Literature-Review-on-Online-Continual-Learning
• Abstract（参考訳）: オンライン連続学習(OCL)は機械学習において重要な領域であり、破滅的な忘れ込みや安定性と塑性のトレードオフといった課題に対処しながら、モデルがリアルタイムで進化するデータストリームに適応できるようにすることに重点を置いている。 本研究は、OCLに関する最初の総合的な体系的文献レビュー(SLR)を行い、81のアプローチを分析し、1,000以上の特徴(これらのアプローチによって対処された特定のタスク)を抽出し、500以上のコンポーネント(アルゴリズムやツールを含むアプローチ内のサブモデル)を特定した。 また、画像分類、オブジェクト検出、マルチモーダル視覚言語タスクなどのアプリケーションにまたがる83のデータセットについてもレビューする。 その結果,計算オーバーヘッドの低減,ドメインに依存しないソリューションの開発,リソース制約のある環境におけるスケーラビリティ向上など,重要な課題を浮き彫りにした。 さらに,マルチモーダルデータとシーケンシャルデータに自己教師付き学習を活用すること,スパース検索と生成再生を統合した適応型メモリ機構を設計すること,タスク境界のノイズや進化を伴う実世界のアプリケーションのための効率的なフレームワークを作成することなど,将来的な研究の方向性を明らかにした。 OCLの現状の厳密で構造化された合成を提供することにより、この領域を前進させ、その重要な課題と機会に対処するための貴重な資源を提供する。 完全なSLR方法論のステップと抽出されたデータは、提供されたリンクを通じて公開されている。

関連論文リスト

• SoK: Towards Effective Automated Vulnerability Repair [11.028015952491991]
  ソフトウェア脆弱性の増加は、自動脆弱性修復(AVR)技術を必要とする。 この知識の体系化(SoK)は、合成と現実の両方の脆弱性を含む、ランドスケープの包括的概要を提供する。
  論文  参考訳（メタデータ） (2025-01-31T00:35:55Z)
• Oriented Tiny Object Detection: A Dataset, Benchmark, and Dynamic Unbiased Learning [51.170479006249195]
  本研究では,新しいデータセット,ベンチマーク,動的粗大な学習手法を提案する。 提案するデータセットであるAI-TOD-Rは、すべてのオブジェクト指向オブジェクト検出データセットの中で最小のオブジェクトサイズを特徴としている。 完全教師付きおよびラベル効率の両アプローチを含む,幅広い検出パラダイムにまたがるベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-16T09:14:32Z)
• Forgetting, Ignorance or Myopia: Revisiting Key Challenges in Online Continual Learning [29.65600202138321]
  高速なデータストリーム環境では、遅いモデルに対応するためにデータが停止しない。 モデルの無知: OCLのシングルパスの性質は、制約付きトレーニング時間内で効果的な機能を学ぶためにモデルに挑戦する。 モデルのミオピア:OCLの局所的な学習特性は、過度に単純化されたタスク固有の機能を採用するモデルに導かれる。
  論文  参考訳（メタデータ） (2024-09-28T05:24:56Z)
• MISS: Memory-efficient Instance Segmentation Framework By Visual Inductive Priors Flow Propagation [8.727456619750983]
  トレーニングデータセットへの視覚的事前の戦略的統合は、テストデータ分布との整合性を高める潜在的なソリューションとして現れます。 MISSの有効性を実証的に評価し、限られたデータ可用性とメモリ制約を特徴とするシナリオにおいて、賞賛可能な性能を示す。
  論文  参考訳（メタデータ） (2024-03-18T08:52:23Z)
• Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization [3.6393183544320236]
  深層学習(DL)における音声認識の課題 大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。 ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
  論文  参考訳（メタデータ） (2023-04-27T21:08:05Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。