論文の概要: Monotone Improvement of Information-Geometric Optimization Algorithms with a Surrogate Function

• arxiv url: http://arxiv.org/abs/2204.02638v1
• Date: Wed, 6 Apr 2022 07:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-18 03:00:43.773612
• Title: Monotone Improvement of Information-Geometric Optimization Algorithms with a Surrogate Function
• Title（参考訳）: 代理関数を持つ情報幾何最適化アルゴリズムの単調化
• Authors: Youhei Akimoto
• Abstract要約: 本稿では,代用関数を用いた情報幾何学最適化フレームワークを理論的に解析する。 このような代理関数を用いた情報幾何学的最適化が,期待対象関数値の単調な減少につながることを証明した。
• 参考スコア（独自算出の注目度）: 8.680676599607125
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A surrogate function is often employed to reduce the number of objective function evaluations for optimization. However, the effect of using a surrogate model in evolutionary approaches has not been theoretically investigated. This paper theoretically analyzes the information-geometric optimization framework using a surrogate function. The value of the expected objective function under the candidate sampling distribution is used as the measure of progress of the algorithm. We assume that the surrogate function is maintained so that the population version of the Kendall's rank correlation coefficient between the surrogate function and the objective function under the candidate sampling distribution is greater than or equal to a predefined threshold. We prove that information-geometric optimization using such a surrogate function leads to a monotonic decrease in the expected objective function value if the threshold is sufficiently close to one. The acceptable threshold value is analyzed for the case of the information-geometric optimization instantiated with Gaussian distributions, i.e., the rank-$\mu$ update CMA-ES, on a convex quadratic objective function. As an alternative to the Kendall's rank correlation coefficient, we investigate the use of the Pearson correlation coefficient between the weights assigned to candidate solutions based on the objective function and the surrogate function.
• Abstract（参考訳）: シュロゲート関数は最適化のための目的関数評価の数を減らすためにしばしば用いられる。 しかし、サーロゲートモデルを用いた進化的アプローチの効果は理論的に研究されていない。 本稿では,代用関数を用いた情報幾何学最適化フレームワークを理論的に解析する。 候補サンプリング分布の予測対象関数の値は,アルゴリズムの進行の指標として用いられる。 サーロゲート関数は、サーロゲート関数と候補サンプリング分布下の目的関数との間のケンドールのランク相関係数の人口バージョンが予め定義されたしきい値以上になるように維持されていると仮定する。 このようなサロゲート関数を用いた情報幾何最適化は,しきい値が十分に近い場合,期待対象関数値を単調に減少させる。 ガウス分布でインスタンス化された情報幾何学的最適化、すなわち凸二次目的関数上のランク-$\mu$ update CMA-ESについて許容しきい値を分析する。 ケンドールのランク相関係数の代替として,目的関数とサロゲート関数に基づいて候補解に割り当てられた重みのピアソン相関係数について検討した。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals [16.768606469968113]
  もともと導入された二重頑健なモーメント関数のクラスを考える(Robins et al., 2008)。 このモーメント関数は、ニュアンス関数の推定方程式の構築に使用できることを実証する。 ニュアンス関数の収束速度は、統計学習理論の現代的な手法を用いて解析される。
  論文  参考訳（メタデータ） (2021-04-07T05:52:15Z)
• Cross-Entropy Method Variants for Optimization [0.0]
  クロスエントロピー法(CE法)はその単純さと有効性から最適化の一般的な方法である。 ある目的関数は評価に計算的に高価である可能性があり、CE-methodは局所的なミニマで立ち往生する可能性がある。 これらの問題に対処するために, CE-method の新たな変種を導入する。
  論文  参考訳（メタデータ） (2020-09-18T19:51:30Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。