論文の概要: Adaptive Hyperparameter Optimization for Continual Learning Scenarios
- arxiv url: http://arxiv.org/abs/2403.07015v1
- Date: Sat, 9 Mar 2024 16:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 00:11:59.286505
- Title: Adaptive Hyperparameter Optimization for Continual Learning Scenarios
- Title(参考訳): 連続学習シナリオに対する適応型ハイパーパラメータ最適化
- Authors: Rudy Semola, Julio Hurtado, Vincenzo Lomonaco, Davide Bacciu
- Abstract要約: 本稿では,連続学習におけるハイパーパラメータ選択の役割について検討する。
分散に基づく手法の機能解析を用いて、性能に影響を及ぼす最も重要なハイパーパラメータを同定する。
提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示すことを実証的に実証する。
- 参考スコア(独自算出の注目度): 20.922044131686928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter selection in continual learning scenarios is a challenging and
underexplored aspect, especially in practical non-stationary environments.
Traditional approaches, such as grid searches with held-out validation data
from all tasks, are unrealistic for building accurate lifelong learning
systems. This paper aims to explore the role of hyperparameter selection in
continual learning and the necessity of continually and automatically tuning
them according to the complexity of the task at hand. Hence, we propose
leveraging the nature of sequence task learning to improve Hyperparameter
Optimization efficiency. By using the functional analysis of variance-based
techniques, we identify the most crucial hyperparameters that have an impact on
performance. We demonstrate empirically that this approach, agnostic to
continual scenarios and strategies, allows us to speed up hyperparameters
optimization continually across tasks and exhibit robustness even in the face
of varying sequential task orders. We believe that our findings can contribute
to the advancement of continual learning methodologies towards more efficient,
robust and adaptable models for real-world applications.
- Abstract(参考訳): 連続学習シナリオにおけるハイパーパラメータの選択は、特に実用的な非定常環境において、難解で未熟な側面である。
すべてのタスクから保持された検証データを持つグリッド検索のような従来のアプローチは、正確な生涯学習システムを構築するには非現実的です。
本稿では,継続学習におけるハイパーパラメータ選択の役割と,作業の複雑さに応じて継続的に自動調整する必要性について検討する。
そこで我々は,超パラメータ最適化の効率を向上させるために,逐次タスク学習の性質を活用することを提案する。
分散に基づく手法の機能解析を用いて,性能に影響を及ぼす最も重要なハイパーパラメータを特定する。
提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示す。
本研究は,より効率的で堅牢で適応可能な実世界の応用モデルへの継続的な学習手法の進歩に寄与すると考えられる。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Stepsize Learning for Policy Gradient Methods in Contextual Markov
Decision Processes [35.889129338603446]
ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。
彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。
メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
論文 参考訳(メタデータ) (2023-06-13T12:58:12Z) - To tune or not to tune? An Approach for Recommending Important
Hyperparameters [2.121963121603413]
機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。
この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
論文 参考訳(メタデータ) (2021-08-30T08:54:58Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳(メタデータ) (2021-06-17T00:01:18Z) - Search Algorithms for Automated Hyper-Parameter Tuning [1.2233362977312945]
グリッド検索とランダム検索という2つの自動ハイパーオプティマイズ手法を開発し、過去の研究のパフォーマンスを評価し改善します。
実験の結果,機械学習アルゴリズムにランダム探索とグリッド探索を適用すると精度が向上することがわかった。
論文 参考訳(メタデータ) (2021-04-29T22:11:52Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳(メタデータ) (2021-03-25T01:48:14Z) - Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。
我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。
機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-06T05:09:37Z) - Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free
Optimization [0.27074235008521236]
我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。
この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。
固定精度アプローチと比較して頑健さと効率性を実証する。
論文 参考訳(メタデータ) (2020-11-06T00:59:51Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳(メタデータ) (2020-02-16T00:53:37Z) - HyperSched: Dynamic Resource Reallocation for Model Development on a
Deadline [21.93595021682493]
HyperSchedは、機械学習トレーニングワークロードのための動的アプリケーションレベルのスケジューラである。
期限までに正確性を最大化するために、最高の試行にリソースを追跡し、識別し、優先的に割り当てる。
論文 参考訳(メタデータ) (2020-01-08T02:01:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。