論文の概要: Hyperparameters in Continual Learning: A Reality Check

• arxiv url: http://arxiv.org/abs/2403.09066v2
• Date: Thu, 15 Aug 2024 21:07:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 20:24:02.572916
• Title: Hyperparameters in Continual Learning: A Reality Check
• Title（参考訳）: 連続学習におけるハイパーパラメータ: 現実チェック
• Authors: Sungmin Cha, Kyunghyun Cho,
• Abstract要約: 我々は、継続学習(CL)研究における従来の評価プロトコルが、機械学習評価における基本原理から逸脱していると論じる。 CLアルゴリズムの主な目的は、可塑性(新しいタスクから新しい知識を学ぶ)と安定性(以前のタスクからの知識を保持する)のトレードオフをバランスさせることである。
• 参考スコア（独自算出の注目度）: 53.30082523545212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we argue that the conventional evaluation protocol in continual learning (CL) research deviates from the fundamental principle in machine learning evaluation. The primary objective of CL algorithm is to balance the trade-off between plasticity (learning new knowledge from new tasks) and stability (retaining knowledge from previous tasks). To evaluate it, a CL scenario is constructed by using a benchmark dataset, where a neural network model is continually trained on the training data of each task, and the best hyperparameters for a CL algorithm are selected based on validation data.The final evaluation involves assessing the model trained with these hyperparameters on the test data from the same scenario. This evaluation protocol primarily aims to assess how well a CL algorithm performs on unseen data within that specific scenario. However, to accurately evaluate the CL algorithm, the focus should be on assessing generalizability of each algorithm's CL capacity to handle unseen scenarios. To achieve this evaluation goal, we propose a revised evaluation protocol. Our protocol consists of two phases: hyperparameter tuning and evaluation. Both phases share the same scenario configuration (e.g., the number of tasks) but the scenarios for each phase are generated from different datasets. During the hyperparameter tuning phase, the best hyperparameters are identified, which are then used to train the model using the CL algorithm in the evaluation phase. Finally, the result from this phase is reported as the final evaluation. We apply the proposed evaluation protocol to class-incremental learning algorithms, both with and without a pretrained model. Through extensive experiments involving approximately 5000 trials, we demonstrate that most state-of-the-art algorithms fail to exhibit the reported performance, revealing a lack of generalizability.
• Abstract（参考訳）: 本稿では,継続学習(CL)研究における従来の評価プロトコルが,機械学習評価の基本原理から逸脱していることを論じる。 CLアルゴリズムの主な目的は、可塑性(新しいタスクから新しい知識を学ぶ)と安定性(以前のタスクからの知識を保持する)のトレードオフをバランスさせることである。 これを評価するために、ベンチマークデータセットを用いてCLシナリオを構築し、各タスクのトレーニングデータに基づいてニューラルネットワークモデルを継続的にトレーニングし、検証データに基づいてCLアルゴリズムの最良のハイパーパラメータを選択し、最終的な評価は、これらのハイパーパラメータでトレーニングされたモデルを同じシナリオからテストデータで評価することを含む。 この評価プロトコルは主に、CLアルゴリズムが特定のシナリオ内で、目に見えないデータに対してどれだけうまく機能するかを評価することを目的としている。 しかし、CLアルゴリズムを正確に評価するためには、各アルゴリズムのCLキャパシティの一般化性を評価することに焦点を当てるべきである。 この評価目標を達成するため、我々は改訂された評価プロトコルを提案する。 我々のプロトコルは、ハイパーパラメータチューニングと評価の2つのフェーズから構成される。 どちらのフェーズも同じシナリオ構成(例えばタスク数)を共有しているが、各フェーズのシナリオは異なるデータセットから生成される。 ハイパーパラメータチューニングフェーズでは、最高のハイパーパラメータが識別され、評価フェーズでCLアルゴリズムを使用してモデルをトレーニングするために使用される。 最後に、このフェーズの結果を最終評価として報告する。 提案手法は,事前学習モデルと非学習モデルの両方を用いて,クラスインクリメンタル学習アルゴリズムに適用する。 約5000の試行を含む広範囲な実験を通して、ほとんどの最先端のアルゴリズムが報告された性能を示すことができず、一般化可能性の欠如が明らかとなった。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
  継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。 タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T04:15:58Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
  継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
  論文  参考訳（メタデータ） (2023-03-16T18:11:19Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
  我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。 本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:55:02Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。