論文の概要: Practitioner Motives to Select Hyperparameter Optimization Methods
- arxiv url: http://arxiv.org/abs/2203.01717v2
- Date: Mon, 26 Jun 2023 08:50:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 01:26:18.824747
- Title: Practitioner Motives to Select Hyperparameter Optimization Methods
- Title(参考訳): ハイパーパラメータ最適化手法の選択動機
- Authors: Niklas Hasebrook, Felix Morsbach, Niclas Kannengie{\ss}er, Marc
Z\"oller, J\"org Franke, Marius Lindauer, Frank Hutter, Ali Sunyaev
- Abstract要約: ML実践者は、グリッドサーチのようなサンプル効率の低いHPOメソッドを適用することが多い。
本研究は, 一見不適切と思われるHPO法を実践者が用いた理由を説明する。
本研究は,ユーザ中心型およびコンテキスト適応型HPOツールの設計基盤を構築した。
- 参考スコア(独自算出の注目度): 34.966568488003304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advanced programmatic hyperparameter optimization (HPO) methods, such as
Bayesian optimization, have high sample efficiency in reproducibly finding
optimal hyperparameter values of machine learning (ML) models. Yet, ML
practitioners often apply less sample-efficient HPO methods, such as grid
search, which often results in under-optimized ML models. As a reason for this
behavior, we suspect practitioners choose HPO methods based on individual
motives, consisting of contextual factors and individual goals. However,
practitioners' motives still need to be clarified, hindering the evaluation of
HPO methods for achieving specific goals and the user-centered development of
HPO tools. To understand practitioners' motives for using specific HPO methods,
we used a mixed-methods approach involving 20 semi-structured interviews and a
survey study with 71 ML experts to gather evidence of the external validity of
the interview results. By presenting six main goals (e.g., improving model
understanding) and 14 contextual factors affecting practitioners' selection of
HPO methods (e.g., available computer resources), our study explains why
practitioners use HPO methods that seem inappropriate at first glance. This
study lays a foundation for designing user-centered and context-adaptive HPO
tools and, thus, linking social and technical research on HPO.
- Abstract(参考訳): ベイジアン最適化のようなプログラム型ハイパーパラメータ最適化(HPO)手法は、機械学習(ML)モデルの最適ハイパーパラメータ値を再現的に求める際に高いサンプル効率を有する。
しかし、ML実践者は、グリッドサーチのようなサンプル効率の低いHPO手法をしばしば適用し、しばしば過度に最適化されたMLモデルをもたらす。
この行動の理由として、実践者は文脈的要因と個々の目標からなる個別の動機に基づくHPO手法を選択する。
しかし、実践者の動機を明らかにする必要があるため、特定の目標を達成するためのHPOメソッドの評価や、HPOツールのユーザ中心の開発を妨げている。
実践者が特定のHPO法を使用する動機を理解するために,20件の半構造化面接と71名のML専門家によるアンケート調査を行い,インタビュー結果の外的妥当性の証拠を収集した。
6つの主要な目標(例えば、モデル理解の改善)と、実践者のHPOメソッド選択に影響を与える14のコンテキスト要因(例えば、利用可能なコンピュータリソース)を提示することにより、実践者が最初に不適切と思われるHPOメソッドを使用する理由を説明する。
本研究は,ユーザ中心型およびコンテキスト適応型HPOツールの設計基盤を構築し,HPOの社会的および技術的研究をリンクする。
関連論文リスト
- Hyperparameter Optimization Can Even be Harmful in Off-Policy Learning and How to Deal with It [20.312864152544954]
我々は,HPOのサロゲート目的として一般化性能の非バイアス推定器を鼻で適用すると,予期せぬ故障が生じることを示した。
本稿では,上記の課題を同時に扱うために,一般的なHPO手順に対する単純で効率的な補正法を提案する。
論文 参考訳(メタデータ) (2024-04-23T14:34:16Z) - From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
Reinforcement Learning From Human Feedback (RLHF)は、次世代のジェネレーティブAIモデルの成功に不可欠である。
直接選好最適化(DPO)は代替手法として登場している。
DPOは標準のRLHF設定と同じ目的を達成しているが、2つのアプローチの間にはミスマッチがある。
論文 参考訳(メタデータ) (2024-04-18T17:37:02Z) - Using Large Language Models for Hyperparameter Optimization [31.537306578628556]
本稿では,高パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて決定を行う。
実験的な評価により,LLMは従来のHPO法と同等あるいは同等に動作可能であることが示された。
論文 参考訳(メタデータ) (2023-12-07T18:46:50Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。
人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。
本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文 参考訳(メタデータ) (2023-07-11T01:55:24Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳(メタデータ) (2023-06-21T16:26:14Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳(メタデータ) (2022-06-11T07:12:04Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳(メタデータ) (2021-11-23T10:22:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。