論文の概要: The case for fully Bayesian optimisation in small-sample trials
- arxiv url: http://arxiv.org/abs/2208.13960v1
- Date: Tue, 30 Aug 2022 02:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 12:31:23.806287
- Title: The case for fully Bayesian optimisation in small-sample trials
- Title（参考訳）: 小サンプル試験における完全ベイズ最適化の事例
- Authors: Yuji Saikai
- Abstract要約: この論文は、完全なベイズ最適化(FBO)を代替として採用する3つの説得力のある理由を提供する。
第一に、ML-IIの失敗は、既存の研究で示されるよりも一般的である。
第2に、FBOはML-IIよりも堅牢であり、ロバストネスの価格はほぼ自明である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While sample efficiency is the main motive for use of Bayesian optimisation
when black-box functions are expensive to evaluate, the standard approach based
on type II maximum likelihood (ML-II) may fail and result in disappointing
performance in small-sample trials. The paper provides three compelling reasons
to adopt fully Bayesian optimisation (FBO) as an alternative. First, failures
of ML-II are more commonplace than implied by the existing studies using the
contrived settings. Second, FBO is more robust than ML-II, and the price of
robustness is almost trivial. Third, FBO has become simple to implement and
fast enough to be practical. The paper supports the argument using relevant
experiments, which reflect the current practice regarding models, algorithms,
and software platforms. Since the benefits seem to outweigh the costs,
researchers should consider adopting FBO for their applications so that they
can guard against potential failures that end up wasting precious research
resources.
- Abstract（参考訳）: ブラックボックス関数の評価に費用がかかる場合、サンプル効率がベイズ最適化の主目的であるが、タイプIIの最大可能性(ML-II)に基づく標準アプローチは失敗し、小さなサンプル試験で性能が低下する可能性がある。
この論文は、完全なベイズ最適化(FBO)を代替として採用する3つの説得力のある理由を提供する。
第一に、ML-IIの失敗は、既存の研究で示されるよりも一般的である。
第2に、FBOはML-IIよりも堅牢であり、ロバストネスの価格はほぼ自明である。
第3に、FBOは実装が簡単になり、実用的になるほど高速になった。
この論文は、モデル、アルゴリズム、ソフトウェアプラットフォームに関する現在の実践を反映した、関連する実験を用いた議論をサポートする。
利点はコストを上回るように見えるため、研究者たちはアプリケーションにFBOを採用して、貴重な研究リソースを浪費する潜在的な失敗を防げるようにすべきである。
関連論文リスト
- Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。
我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling [0.0]
多目的最適化を解くためのサンプル効率のアプローチは、プロセス・オラクル・サロゲート(GP)とMOBOOTS$である。
我々はトンプソンサンプリング(TS)に基づくアプローチ(qtextttPOTS$)を提案する。
$qtextttPOTS$は、GP後部の安価な多目的最適化を進化的アプローチで解決する。
論文 参考訳（メタデータ） (2023-10-24T12:35:15Z) - Leaving the Nest: Going Beyond Local Loss Functions for
Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。
提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文 参考訳（メタデータ） (2023-05-26T11:17:45Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - Multi-Fidelity Bayesian Optimization with Unreliable Information Sources [12.509709549771385]
GPベースのMFBOスキームを信頼性のない情報ソースの追加により堅牢にするためのrMFBO(robust MFBO)を提案する。
提案手法の有効性を,多数の数値ベンチマークで示す。
rMFBOは、BOプロセスに様々な知識を持つ人間の専門家を確実に含めるのに特に有用であると考えています。
論文 参考訳（メタデータ） (2022-10-25T11:47:33Z) - Advancing Model Pruning via Bi-level Optimization [89.88761425199598]
イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である
ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
論文 参考訳（メタデータ） (2022-10-08T19:19:29Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z) - $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian
Optimization [40.30019289383378]
最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。
従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。
また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
論文 参考訳（メタデータ） (2022-04-23T11:07:13Z) - Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。
インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
論文 参考訳（メタデータ） (2021-07-30T07:25:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。