論文の概要: Adaptive Hyperparameter Optimization for Continual Learning Scenarios

• arxiv url: http://arxiv.org/abs/2403.07015v1
• Date: Sat, 9 Mar 2024 16:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 00:11:59.286505
• Title: Adaptive Hyperparameter Optimization for Continual Learning Scenarios
• Title（参考訳）: 連続学習シナリオに対する適応型ハイパーパラメータ最適化
• Authors: Rudy Semola, Julio Hurtado, Vincenzo Lomonaco, Davide Bacciu
• Abstract要約: 本稿では,連続学習におけるハイパーパラメータ選択の役割について検討する。 分散に基づく手法の機能解析を用いて、性能に影響を及ぼす最も重要なハイパーパラメータを同定する。 提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示すことを実証的に実証する。
• 参考スコア（独自算出の注目度）: 20.922044131686928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter selection in continual learning scenarios is a challenging and underexplored aspect, especially in practical non-stationary environments. Traditional approaches, such as grid searches with held-out validation data from all tasks, are unrealistic for building accurate lifelong learning systems. This paper aims to explore the role of hyperparameter selection in continual learning and the necessity of continually and automatically tuning them according to the complexity of the task at hand. Hence, we propose leveraging the nature of sequence task learning to improve Hyperparameter Optimization efficiency. By using the functional analysis of variance-based techniques, we identify the most crucial hyperparameters that have an impact on performance. We demonstrate empirically that this approach, agnostic to continual scenarios and strategies, allows us to speed up hyperparameters optimization continually across tasks and exhibit robustness even in the face of varying sequential task orders. We believe that our findings can contribute to the advancement of continual learning methodologies towards more efficient, robust and adaptable models for real-world applications.
• Abstract（参考訳）: 連続学習シナリオにおけるハイパーパラメータの選択は、特に実用的な非定常環境において、難解で未熟な側面である。 すべてのタスクから保持された検証データを持つグリッド検索のような従来のアプローチは、正確な生涯学習システムを構築するには非現実的です。 本稿では,継続学習におけるハイパーパラメータ選択の役割と,作業の複雑さに応じて継続的に自動調整する必要性について検討する。 そこで我々は,超パラメータ最適化の効率を向上させるために,逐次タスク学習の性質を活用することを提案する。 分散に基づく手法の機能解析を用いて,性能に影響を及ぼす最も重要なハイパーパラメータを特定する。 提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示す。 本研究は,より効率的で堅牢で適応可能な実世界の応用モデルへの継続的な学習手法の進歩に寄与すると考えられる。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Combining Automated Optimisation of Hyperparameters and Reward Shape [7.407166175374958]
  本稿では,ハイパーパラメータと報酬関数を組み合わせた最適化手法を提案する。 近似ポリシー最適化とソフト・アクター・クリティカルを用いた広範囲な実験を行った。 以上の結果から,統合最適化は環境の半分のベースライン性能よりも有意に向上し,他の環境との競争性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-06-26T12:23:54Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Scrap Your Schedules with PopDescent [0.0]
  Population Descent (PopDescent) は、メメティックな集団検索技術である。 また,PopDescentは既存の検索手法よりも高速に収束し,テストロス値が最大18%低いモデルパラメータを求める。 標準的な機械学習ビジョンタスクの試行では、PopDescentは既存の検索手法よりも高速に収束し、テストロス値が最大18%低いモデルパラメータが見つかる。
  論文  参考訳（メタデータ） (2023-10-23T08:11:17Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Search Algorithms for Automated Hyper-Parameter Tuning [1.2233362977312945]
  グリッド検索とランダム検索という2つの自動ハイパーオプティマイズ手法を開発し、過去の研究のパフォーマンスを評価し改善します。 実験の結果,機械学習アルゴリズムにランダム探索とグリッド探索を適用すると精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-29T22:11:52Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization [0.27074235008521236]
  我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。 この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。 固定精度アプローチと比較して頑健さと効率性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T00:59:51Z)
• Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
  ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。 本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。 4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
  論文  参考訳（メタデータ） (2020-02-16T00:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。