論文の概要: Cross-Entropy Method Variants for Optimization
- arxiv url: http://arxiv.org/abs/2009.09043v1
- Date: Fri, 18 Sep 2020 19:51:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 02:40:30.554813
- Title: Cross-Entropy Method Variants for Optimization
- Title（参考訳）: 最適化のためのクロスエントロピー法変種
- Authors: Robert J. Moss
- Abstract要約: クロスエントロピー法(CE法)はその単純さと有効性から最適化の一般的な方法である。
ある目的関数は評価に計算的に高価である可能性があり、CE-methodは局所的なミニマで立ち往生する可能性がある。
これらの問題に対処するために, CE-method の新たな変種を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The cross-entropy (CE) method is a popular stochastic method for optimization
due to its simplicity and effectiveness. Designed for rare-event simulations
where the probability of a target event occurring is relatively small, the
CE-method relies on enough objective function calls to accurately estimate the
optimal parameters of the underlying distribution. Certain objective functions
may be computationally expensive to evaluate, and the CE-method could
potentially get stuck in local minima. This is compounded with the need to have
an initial covariance wide enough to cover the design space of interest. We
introduce novel variants of the CE-method to address these concerns. To
mitigate expensive function calls, during optimization we use every sample to
build a surrogate model to approximate the objective function. The surrogate
model augments the belief of the objective function with less expensive
evaluations. We use a Gaussian process for our surrogate model to incorporate
uncertainty in the predictions which is especially helpful when dealing with
sparse data. To address local minima convergence, we use Gaussian mixture
models to encourage exploration of the design space. We experiment with
evaluation scheduling techniques to reallocate true objective function calls
earlier in the optimization when the covariance is the largest. To test our
approach, we created a parameterized test objective function with many local
minima and a single global minimum. Our test function can be adjusted to
control the spread and distinction of the minima. Experiments were run to
stress the cross-entropy method variants and results indicate that the
surrogate model-based approach reduces local minima convergence using the same
number of function evaluations.
- Abstract（参考訳）: クロスエントロピー法(CE法)はその単純さと有効性から最適化の確率的手法として人気がある。
ターゲットイベントの発生確率が比較的小さいレアイベントシミュレーションのために設計されたce手法は、基礎となる分布の最適パラメータを正確に推定するために十分な客観的関数呼び出しに依存する。
ある目的関数は評価に計算的に高価であり、CE-methodは局所的なミニマで立ち往生する可能性がある。
これは、興味のある設計空間をカバーするのに十分広い初期共分散を持つ必要性と重なる。
これらの問題に対処するために, CE-method の新たな変種を導入する。
高価な関数呼び出しを緩和するために、最適化中にすべてのサンプルを使用して、目的関数を近似するサーロゲートモデルを構築します。
代理モデルにより、コストの低い評価で目的関数の信念が強化される。
スパースデータを扱う際に特に有用である予測に不確実性を組み込むために、サロゲートモデルにガウス過程を用いる。
局所的な最小収束に対処するため、ガウス混合モデルを用いて設計空間の探索を促進する。
我々は,共分散が最大である場合の最適化に先立って,真の目的関数呼び出しを再配置するための評価スケジューリング手法を試す。
提案手法をテストするため,多くの局所最小値と1つの大域最小値を持つパラメータ化テスト対象関数を作成した。
我々のテスト機能はミニマの広がりと区別を制御するために調整できる。
実験はクロスエントロピー法の変種を強調するために実施され、サロゲートモデルに基づくアプローチは、同じ数の関数評価を用いて局所最小収束を減少させることを示す。
関連論文リスト
- Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Efficient Approximation of Expected Hypervolume Improvement using
Gauss-Hermite Quadrature [0.0]
ガウス・ハーマイト二次構造はモンテカルロの独立性および相関性のある予測密度に対する正確な代替物である。
独立性および相関性のある予測密度に対するモンテカルロの正確な代替であることを示す。
論文 参考訳（メタデータ） (2022-06-15T22:09:48Z) - R-MBO: A Multi-surrogate Approach for Preference Incorporation in
Multi-objective Bayesian Optimisation [0.0]
本稿では,多目的BOにおける意思決定者の嗜好として,目的関数を目的関数値に組み込むための,a-priori Multi-surrogateアプローチを提案する。
ベンチマークと実世界の最適化問題に対する既存モノ代理手法との比較は,提案手法の可能性を示している。
論文 参考訳（メタデータ） (2022-04-27T19:58:26Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-07-20T12:07:48Z) - Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based
Surrogate Model Via Uncertainty Quantification [11.486221800371919]
本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。
まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。
次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
論文 参考訳（メタデータ） (2020-01-19T16:15:55Z) - Robust Learning Rate Selection for Stochastic Optimization via Splitting
Diagnostic [5.395127324484869]
SplitSGDは最適化のための新しい動的学習スケジュールである。
本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。
基本的には標準のSGDよりも計算コストがかかるわけではない。
論文 参考訳（メタデータ） (2019-10-18T19:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。