論文の概要: From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning

• arxiv url: http://arxiv.org/abs/2303.11076v1
• Date: Thu, 16 Mar 2023 18:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 15:36:20.341579
• Title: From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning
• Title（参考訳）: MNISTからImageNetへ:継続的なカリキュラム学習のベンチマーク
• Authors: Kamil Faber, Dominik Zurek, Marcin Pietron, Nathalie Japkowicz, Antonio Vergari, Roberto Corizzo
• Abstract要約: 継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
• 参考スコア（独自算出の注目度）: 9.104068727716294
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) is one of the most promising trends in recent machine learning research. Its goal is to go beyond classical assumptions in machine learning and develop models and learning strategies that present high robustness in dynamic environments. The landscape of CL research is fragmented into several learning evaluation protocols, comprising different learning tasks, datasets, and evaluation metrics. Additionally, the benchmarks adopted so far are still distant from the complexity of real-world scenarios, and are usually tailored to highlight capabilities specific to certain strategies. In such a landscape, it is hard to objectively assess strategies. In this work, we fill this gap for CL on image data by introducing two novel CL benchmarks that involve multiple heterogeneous tasks from six image datasets, with varying levels of complexity and quality. Our aim is to fairly evaluate current state-of-the-art CL strategies on a common ground that is closer to complex real-world scenarios. We additionally structure our benchmarks so that tasks are presented in increasing and decreasing order of complexity -- according to a curriculum -- in order to evaluate if current CL models are able to exploit structure across tasks. We devote particular emphasis to providing the CL community with a rigorous and reproducible evaluation protocol for measuring the ability of a model to generalize and not to forget while learning. Furthermore, we provide an extensive experimental evaluation showing that popular CL strategies, when challenged with our benchmarks, yield sub-par performance, high levels of forgetting, and present a limited ability to effectively leverage curriculum task ordering. We believe that these results highlight the need for rigorous comparisons in future CL works as well as pave the way to design new CL strategies that are able to deal with more complex scenarios.
• Abstract（参考訳）: 連続学習(CL)は最近の機械学習研究で最も有望なトレンドの一つである。 その目標は、機械学習の古典的な仮定を超えて、動的環境で高い堅牢性を示すモデルと学習戦略を開発することだ。 cl研究の展望は、異なる学習タスク、データセット、評価メトリクスを含むいくつかの学習評価プロトコルに断片化されている。 さらに、これまで採用されてきたベンチマークは、現実世界のシナリオの複雑さからはまだ離れていて、通常は特定の戦略に特有の機能を強調するように調整されています。 このような状況では、戦略を客観的に評価することは困難である。 本研究では、6つの画像データセットから複数の異種タスクを含む2つの新しいclベンチマークを導入することで、画像データに対するclのこのギャップを埋める。 我々の目標は、複雑な実世界のシナリオに近い共通基盤上で、最先端のCL戦略を適切に評価することである。 我々はまた、現在のCLモデルがタスク全体の構造を活用できるかどうかを評価するために、タスクが複雑性の増大と減少の順序で提示されるように、ベンチマークを構造化する。 我々は,学習中にモデルを一般化し,忘れないようにする,厳密で再現可能な評価プロトコルをCLコミュニティに提供することに特に重点を置いている。 さらに,一般的なCL戦略がベンチマークに挑戦した場合,サブパー性能,高いレベルの忘れ込み,カリキュラムタスクの順序付けを効果的に活用する能力に制限があることを示す実験的な評価を行った。 これらの結果は、将来のCL作業における厳密な比較の必要性と、より複雑なシナリオに対処できる新しいCL戦略を設計する方法を強調していると信じています。

関連論文リスト

• Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning [42.4526628515253]
  CL(Curriculum Learning)は、サンプルを学習プロセスに徐々に導入する機械学習トレーニング戦略である。 サンプル難易度推定のための最も一般的なスコアリング関数のロバスト性と類似性について検討する。 その結果,ランダムシード間のスコアリング関数のロバスト性はCL性能と正の相関関係があることが判明した。
  論文  参考訳（メタデータ） (2024-11-01T18:55:31Z)
• Realistic Continual Learning Approach using Pre-trained Models [1.2582887633807602]
  本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。 CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。
  論文  参考訳（メタデータ） (2024-04-11T13:19:46Z)
• Hyperparameters in Continual Learning: A Reality Check [53.30082523545212]
  連続学習(CL)は、可塑性(新しいタスクを学ぶ)と安定性(事前知識を保持する)のトレードオフをバランスしながら、一連のタスクでモデルを訓練することを目的としている。 CLアルゴリズムの従来の評価プロトコルは、与えられたシナリオで最適なハイパーパラメータを選択し、同じシナリオでアルゴリズムを評価する。 このプロトコルには大きな欠点があり、アルゴリズムのCL能力を過大評価し、非現実的なハイパーパラメータチューニングに依存している。 CLアルゴリズムの評価は,予測できないシナリオに対するCL能力の一般化性を評価することに集中すべきである,と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-14T03:13:01Z)
• Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges [4.715630709185073]
  オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。 我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。 提案手法は, CL のアプローチにおいて, 有意な差で優れる。
  論文  参考訳（メタデータ） (2023-11-22T09:21:28Z)
• Exploiting CLIP for Zero-shot HOI Detection Requires Knowledge Distillation at Multiple Levels [52.50670006414656]
  大規模事前学習型視覚言語モデルであるCLIPを,多段階の知識蒸留に利用した。 私たちのモデルをトレーニングするために、CLIPを使用して、グローバルイメージとローカルユニオン領域の両方のHOIスコアを生成する。 このモデルは、完全な教師付きおよび弱い教師付き手法に匹敵する強力な性能を達成する。
  論文  参考訳（メタデータ） (2023-09-10T16:27:54Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)
• A Survey on Curriculum Learning [48.36129047271622]
  Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。 CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
  論文  参考訳（メタデータ） (2020-10-25T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。