論文の概要: HPO: We won't get fooled again

• arxiv url: http://arxiv.org/abs/2208.03320v1
• Date: Thu, 4 Aug 2022 22:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 12:15:36.592171
• Title: HPO: We won't get fooled again
• Title（参考訳）: HPO:二度と騙されることはない
• Authors: Kalifou Ren\'e Traor\'e, Andr\'es Camero, Xiao Xiang Zhu
• Abstract要約: 本稿では,HPOパイプラインがHPO問題に与える影響をフィットネスランドスケープ解析を用いて解析する。 具体的には,DS-2019HPOベンチマークデータセットについて検討し,評価パイプラインの故障を示すパターンについて検討した。 我々はHPOパイプラインの定義がHPOの景観に悪影響を及ぼす可能性があると結論付けた。
• 参考スコア（独自算出の注目度）: 14.610038284393166
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperparameter optimization (HPO) is a well-studied research field. However, the effects and interactions of the components in an HPO pipeline are not yet well investigated. Then, we ask ourselves: can the landscape of HPO be biased by the pipeline used to evaluate individual configurations? To address this question, we proposed to analyze the effect of the HPO pipeline on HPO problems using fitness landscape analysis. Particularly, we studied the DS-2019 HPO benchmark data set, looking for patterns that could indicate evaluation pipeline malfunction, and relate them to HPO performance. Our main findings are: (i) In most instances, large groups of diverse hyperparameters (i.e., multiple configurations) yield the same ill performance, most likely associated with majority class prediction models; (ii) in these cases, a worsened correlation between the observed fitness and average fitness in the neighborhood is observed, potentially making harder the deployment of local-search based HPO strategies. Finally, we concluded that the HPO pipeline definition might negatively affect the HPO landscape.
• Abstract（参考訳）: ハイパーパラメータ最適化(hpo)はよく研究されている研究分野である。 しかし,HPOパイプラインにおける成分の影響と相互作用については,まだ十分に研究されていない。 HPOの状況は、個々の構成を評価するのに使用されるパイプラインに偏っているのでしょうか? そこで我々は,HPOパイプラインがHPO問題に与える影響をフィットネスランドスケープ解析を用いて解析することを提案した。 特に,DS-2019HPOベンチマークデータセットについて検討し,評価パイプラインの故障を示すパターンとHPO性能との関連性を検討した。 私たちの主な発見は (i)ほとんどの例において、多種多様なハイパーパラメータ(例えば、複数の構成)の大きな集団は、おそらく多数派クラスの予測モデルに関連し、同じ悪質な性能をもたらす。 (II) この場合, 周辺地域における観察されたフィットネスと平均フィットネスの相関関係が悪化し, 地域探索に基づくHPO戦略の展開が困難になる可能性がある。 最後に,HPOパイプラインの定義がHPOの景観に悪影響を及ぼす可能性が示唆された。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Explaining Hyperparameter Optimization via Partial Dependence Plots [5.25855526614851]
  我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。 本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
  論文  参考訳（メタデータ） (2021-11-08T20:51:54Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• An Empirical Study on Hyperparameter Optimization for Fine-Tuning Pre-trained Language Models [10.599060942412144]
  GLUEデータセット上で2つの最先端言語モデルを微調整したHPOアルゴリズムの性能について検討・報告する。 同じ時間予算で、HPOは2つの理由でグリッド検索を上回りません。
  論文  参考訳（メタデータ） (2021-06-17T01:58:32Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)
• The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games [67.47961797770249]
  マルチエージェントPPO(MAPPO)は、集中型値関数を採用するマルチエージェントPPOバリアントである。 MAPPOは,3つの一般的なマルチエージェントテストベッドにおいて,最先端技術に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。