論文の概要: POCAII: Parameter Optimization with Conscious Allocation using Iterative Intelligence

• arxiv url: http://arxiv.org/abs/2505.11745v1
• Date: Fri, 16 May 2025 23:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.820032
• Title: POCAII: Parameter Optimization with Conscious Allocation using Iterative Intelligence
• Title（参考訳）: POCAII:イテレーティブインテリジェンスを用いた意識割当を用いたパラメータ最適化
• Authors: Joshua Inman, Tanmay Khandait, Lalitha Sankar, Giulia Pedrielli,
• Abstract要約: POCAIIはハイパーパラメータ最適化予算を管理するフレキシブルなスキームである。 低予算なハイパーパラメータ最適化方式では優れた性能を示す。 現実世界の問題への幅広い応用がある。
• 参考スコア（独自算出の注目度）: 4.478575931884855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose for the first time the hyperparameter optimization (HPO) algorithm POCAII. POCAII differs from the Hyperband and Successive Halving literature by explicitly separating the search and evaluation phases and utilizing principled approaches to exploration and exploitation principles during both phases. Such distinction results in a highly flexible scheme for managing a hyperparameter optimization budget by focusing on search (i.e., generating competing configurations) towards the start of the HPO process while increasing the evaluation effort as the HPO comes to an end. POCAII was compared to state of the art approaches SMAC, BOHB and DEHB. Our algorithm shows superior performance in low-budget hyperparameter optimization regimes. Since many practitioners do not have exhaustive resources to assign to HPO, it has wide applications to real-world problems. Moreover, the empirical evidence showed how POCAII demonstrates higher robustness and lower variance in the results. This is again very important when considering realistic scenarios with extremely expensive models to train.
• Abstract（参考訳）: 本稿では,HPOアルゴリズムPOCAIIを初めて提案する。 POCAIIは、探索と評価の段階を明確に分離し、両方の段階における探索と搾取の原則的アプローチを活用することで、ハイパーバンドと逐次ハルヴィング文学とは異なる。 このような区別は、HPOプロセスの開始に向けた探索(すなわち競合する構成を生成する)に集中し、HPOが終了するにつれて評価の労力を増し、ハイパーパラメータ最適化予算を管理するための非常に柔軟なスキームをもたらす。 POCAIIは最先端のアプローチであるSMAC, BOHB, DEHBと比較された。 提案アルゴリズムは,低予算ハイパーパラメータ最適化方式において優れた性能を示す。 多くの実践者はHPOに割り当てるリソースを全く持っていないため、現実世界の問題への幅広い応用がある。 さらに、実証的な証拠は、POCAIIが結果により高い堅牢性と低い分散を示すことを示した。 非常に高価なモデルでトレーニングする現実的なシナリオを考える場合、これも非常に重要です。

関連論文リスト

• ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning [50.53705050673944]
  ULTHOは,1回の走行で深部RLで高速HPOを実現するための,超軽量で強力なフレームワークである。 具体的には、HPOプロセスは、クラスタ化されたアーム(MABC)を備えたマルチアームバンディットとして定式化し、それを長期の戻り値の最適化に直接リンクする。 ALE、Procgen、MiniGrid、PyBulletなどのベンチマークでULTHOをテストする。
  論文  参考訳（メタデータ） (2025-03-08T07:03:43Z)
• Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning [1.7778609937758323]
  我々は「逐次グループ」と呼ばれる新しいHPO戦略を実装している 実験は,6つの画像分類データセットで検証され,ハイパーパラメータ重要度評価(HIA)を組み込むことで,モデル性能を損なうことなくHPOを大幅に加速することを示した。
  論文  参考訳（メタデータ） (2025-03-07T03:01:00Z)
• HyperQ-Opt: Q-learning for Hyperparameter Optimization [0.0]
  本稿では,HPOを逐次決定問題として定式化し,強化学習技術であるQ-ラーニングを活用することにより,HPOに対する新たな視点を示す。 これらのアプローチは、限られた試行数で最適または準最適構成を見つける能力について評価されている。 このパラダイムをポリシーベースの最適化にシフトすることで、スケーラブルで効率的な機械学習アプリケーションのためのHPOメソッドの進歩に寄与する。
  論文  参考訳（メタデータ） (2024-12-23T18:22:34Z)
• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。