Fugu-MT 論文翻訳(概要): An Empirical Study of Assumptions in Bayesian Optimisation

論文の概要: An Empirical Study of Assumptions in Bayesian Optimisation

arxiv url: http://arxiv.org/abs/2012.03826v3
Date: Fri, 12 Feb 2021 09:15:59 GMT
ステータス: 処理完了
システム内更新日: 2021-05-18 10:14:25.332063
Title: An Empirical Study of Assumptions in Bayesian Optimisation
Title（参考訳）: ベイズ最適化における推定の実証的研究
Authors: Alexander I. Cowen-Rivers, Wenlong Lyu, Rasul Tutunov, Zhi Wang, Antoine Grosnit, Ryan Rhys Griffiths, Hao Jianye, Jun Wang, Haitham Bou Ammar
Abstract要約: 本研究では,ベイズ最適化に固有の従来的および非慣習的仮定を厳密に分析する。超パラメータチューニングタスクの大多数は、不均一性と非定常性を示すと結論付けている。これらの発見が実践者およびこの分野のさらなる研究の指針となることを願っている。
参考スコア（独自算出の注目度）: 61.19427472792523
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.
Abstract（参考訳）: 機械学習のハイパーパラメータを効率的にチューニングしたいという欲求の高まりに触発され、ベイズ最適化に固有の従来的および非伝統的な仮定を厳格に分析する。 1) 超パラメータチューニングタスクの大部分はヘテロシステキティと非定常性を示し,2)パレートフロントソリューションを用いた多目的獲得アンサンブルはクエリ構成を大幅に改善し,3)ロバストでないタスクに比べてロバスト獲得の最大化は実証的な利点を与える。これらの発見が実践者およびこの分野のさらなる研究の指針となることを願っている。

関連論文リスト

Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation [10.77641869521259]
CMOBOは、原則的に実現可能な領域内の多目的最適化と、実現可能な領域の学習のバランスをとる。理論的正当化と実証的証拠の両方を提供し、様々な合成ベンチマークや実世界の応用に対するアプローチの有効性を実証する。
論文参考訳（メタデータ） (2024-11-06T03:38:00Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
Combining Automated Optimisation of Hyperparameters and Reward Shape [7.407166175374958]
本稿では,ハイパーパラメータと報酬関数を組み合わせた最適化手法を提案する。近似ポリシー最適化とソフト・アクター・クリティカルを用いた広範囲な実験を行った。以上の結果から,統合最適化は環境の半分のベースライン性能よりも有意に向上し,他の環境との競争性能も向上することが示された。
論文参考訳（メタデータ） (2024-06-26T12:23:54Z)
Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文参考訳（メタデータ） (2024-01-08T12:39:25Z)
Expert-guided Bayesian Optimisation for Human-in-the-loop Experimental Design of Known Systems [0.0]
我々は,高スループット(バッチ)ベイズ最適化と人類学的決定理論を併用して,ドメインの専門家が最適実験の選択に影響を及ぼすことを可能にする。我々の方法論は、人間が連続的な選択よりも個別に選択する方が優れているという仮説を利用しており、専門家が重要な早期決定に影響を及ぼすことを可能にする。
論文参考訳（メタデータ） (2023-12-05T16:09:31Z)
Modeling the Machine Learning Multiverse [10.809039816152161]
機械学習研究において、ロバストで一般化可能な主張を行うための原則的枠組みを提案する。この枠組みは,心理学の危機に対応するために導入された心理学的多元的分析に基づいている。機械学習コミュニティにとって、Multiverse Analysisはロバストなクレームを特定するためのシンプルで効果的なテクニックである。
論文参考訳（メタデータ） (2022-06-13T09:11:48Z)
Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文参考訳（メタデータ） (2022-03-12T16:07:57Z)
What Makes an Effective Scalarising Function for Multi-Objective Bayesian Optimisation? [6.4239565988811425]
目的のスケール化による多対象ベイズ最適化は、高価な積分ベースの獲得関数の計算を避ける。ここで定義されるすべての方法論的改善の有効性は、実世界の問題で実証される。
論文参考訳（メタデータ） (2021-04-10T15:18:58Z)
Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
本稿では,グローバル最適化のためのサンプル手法を提案する。この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
論文参考訳（メタデータ） (2020-12-15T12:18:38Z)
Incorporating Expert Prior Knowledge into Experimental Design via Posterior Sampling [58.56638141701966]
実験者は、グローバルな最適な場所に関する知識を得ることができる。グローバル最適化に関する専門家の事前知識をベイズ最適化に組み込む方法は不明である。効率の良いベイズ最適化手法は、大域的最適の後方分布の後方サンプリングによって提案されている。
論文参考訳（メタデータ） (2020-02-26T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。