論文の概要: Hyperparameters in Continual Learning: a Reality Check
- arxiv url: http://arxiv.org/abs/2403.09066v1
- Date: Thu, 14 Mar 2024 03:13:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 21:57:10.124366
- Title: Hyperparameters in Continual Learning: a Reality Check
- Title(参考訳): 連続学習におけるハイパーパラメータ:リアリティチェック
- Authors: Sungmin Cha, Kyunghyun Cho,
- Abstract要約: ベンチマークデータセットで構築されたCLシナリオ上で、CLアルゴリズムをトレーニングすることは一般的なプラクティスである。
本稿では,この評価プロトコルは実用的でなく,CLアルゴリズムのCL能力を効果的に評価することができないことを主張する。
- 参考スコア(独自算出の注目度): 53.30082523545212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various algorithms for continual learning (CL) have been designed with the goal of effectively alleviating the trade-off between stability and plasticity during the CL process. To achieve this goal, tuning appropriate hyperparameters for each algorithm is essential. As an evaluation protocol, it has been common practice to train a CL algorithm using diverse hyperparameter values on a CL scenario constructed with a benchmark dataset. Subsequently, the best performance attained with the optimal hyperparameter value serves as the criterion for evaluating the CL algorithm. In this paper, we contend that this evaluation protocol is not only impractical but also incapable of effectively assessing the CL capability of a CL algorithm. Returning to the fundamental principles of model evaluation in machine learning, we propose an evaluation protocol that involves Hyperparameter Tuning and Evaluation phases. Those phases consist of different datasets but share the same CL scenario. In the Hyperparameter Tuning phase, each algorithm is iteratively trained with different hyperparameter values to find the optimal hyperparameter values. Subsequently, in the Evaluation phase, the optimal hyperparameter values is directly applied for training each algorithm, and their performance in the Evaluation phase serves as the criterion for evaluating them. Through experiments on CIFAR-100 and ImageNet-100 based on the proposed protocol in class-incremental learning, we not only observed that the existing evaluation method fail to properly assess the CL capability of each algorithm but also observe that some recently proposed state-of-the-art algorithms, which reported superior performance, actually exhibit inferior performance compared to the previous algorithm.
- Abstract(参考訳): CLプロセスにおける安定性と可塑性のトレードオフを効果的に緩和する目的で,連続学習のための様々なアルゴリズムが設計されている。
この目的を達成するために、各アルゴリズムに適切なハイパーパラメータをチューニングすることが不可欠である。
評価プロトコルとして,ベンチマークデータセットで構築したCLシナリオ上で,多様なハイパーパラメータ値を用いたCLアルゴリズムのトレーニングが一般的である。
その後、最適パラメータ値が得られた最高の性能は、CLアルゴリズムを評価するための基準となる。
本稿では,この評価プロトコルは実用的でなく,CLアルゴリズムのCL能力を効果的に評価することができないことを主張する。
機械学習におけるモデル評価の基本原理に回帰して,ハイパーパラメータチューニングと評価フェーズを含む評価プロトコルを提案する。
これらのフェーズは異なるデータセットで構成されるが、同じCLシナリオを共有する。
ハイパーパラメータチューニングフェーズでは、各アルゴリズムは最適なハイパーパラメータ値を見つけるために異なるハイパーパラメータ値で反復的に訓練される。
その後、評価フェーズでは、各アルゴリズムのトレーニングに最適なハイパーパラメータ値が直接適用され、評価フェーズにおけるその性能が評価の基準となる。
CIFAR-100 と ImageNet-100 の実験を通じて,既存の評価手法が各アルゴリズムのCL能力を適切に評価できないだけでなく,最近提案された最先端のアルゴリズムが,従来のアルゴリズムと比較して性能が劣っていることを観察した。
関連論文リスト
- Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。
これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文 参考訳(メタデータ) (2023-05-05T15:33:39Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳(メタデータ) (2023-02-08T02:38:26Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - Value Function Based Difference-of-Convex Algorithm for Bilevel
Hyperparameter Selection Problems [5.940592509070767]
不確定性(VF-iDCA)を有する逐次収束値に基づく差分関数アルゴリズムを開発する。
実験の結果,提案したVF-iDCAはハイパーパラメータのチューニングに際し,優れた性能を示すことがわかった。
論文 参考訳(メタデータ) (2022-06-13T08:51:10Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳(メタデータ) (2020-10-19T21:46:39Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。