論文の概要: Why Do Machine Learning Practitioners Still Use Manual Tuning? A Qualitative Study

• arxiv url: http://arxiv.org/abs/2203.01717v1
• Date: Thu, 3 Mar 2022 13:55:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 23:37:42.305027
• Title: Why Do Machine Learning Practitioners Still Use Manual Tuning? A Qualitative Study
• Title（参考訳）: なぜ機械学習の実践者は手動チューニングを使うのか? 質的研究
• Authors: Niklas Hasebrook, Felix Morsbach, Niclas Kannengie{\ss}er, J\"org Franke, Frank Hutter, Ali Sunyaev
• Abstract要約: 実践者がなぜ異なるHPO方法を選択するのかを説明するための半構造化インタビューを行う。 インタビューでは、HPOメソッドの決定に影響を与える6つの主要な実践目標と11の重要な要因が明らかになった。 我々は,HPO法の改良を実践目標と整合させて概説する。
• 参考スコア（独自算出の注目度）: 28.469948353678014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current advanced hyperparameter optimization (HPO) methods, such as Bayesian optimization, have high sampling efficiency and facilitate replicability. Nonetheless, machine learning (ML) practitioners (e.g., engineers, scientists) mostly apply less advanced HPO methods, which can increase resource consumption during HPO or lead to underoptimized ML models. Therefore, we suspect that practitioners choose their HPO method to achieve different goals, such as decrease practitioner effort and target audience compliance. To develop HPO methods that align with such goals, the reasons why practitioners decide for specific HPO methods must be unveiled and thoroughly understood. Because qualitative research is most suitable to uncover such reasons and find potential explanations for them, we conducted semi-structured interviews to explain why practitioners choose different HPO methods. The interviews revealed six principal practitioner goals (e.g., increasing model comprehension), and eleven key factors that impact decisions for HPO methods (e.g., available computing resources). We deepen the understanding about why practitioners decide for different HPO methods and outline recommendations for improvements of HPO methods by aligning them with practitioner goals.
• Abstract（参考訳）: ベイジアン最適化のような現在の高度ハイパーパラメータ最適化(HPO)法はサンプリング効率が高く、複製性を促進する。 それでも、機械学習(ML)の実践者(例えば、エンジニア、科学者)は、HPOメソッドをほとんど適用せず、HPO中にリソース消費を増加させたり、過度に最適化されたMLモデルに繋がる可能性がある。 そこで,実践者は,実践者の努力を減らし,観客のコンプライアンスを目標とするなど,異なる目標を達成するためにHPO方式を選択する。 このような目標に沿ったHPO法を開発するためには,実践者が特定のHPO法を決定する理由を明らかにする必要がある。 質的研究は,そのような理由を明らかにするのに最も適しているため,実践者が異なるhpo手法を選択する理由を説明するために,半構造化面接を行った。 インタビューでは、6つの主要な実践者目標(例:モデル理解の増大)と、HPOメソッド(例:利用可能なコンピューティングリソース)の決定に影響を及ぼす11つの重要な要因が明らかになった。 我々は,実践者が異なるHPOメソッドを決定する理由の理解を深め,実践目標と整合させることで,HPOメソッドの改善のための推奨事項を概説する。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)
• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。