論文の概要: Ruppert-Polyak averaging for Stochastic Order Oracle
- arxiv url: http://arxiv.org/abs/2411.15866v1
- Date: Sun, 24 Nov 2024 15:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:19:41.692417
- Title: Ruppert-Polyak averaging for Stochastic Order Oracle
- Title（参考訳）: 確率順序OracleのRuppert-Polyak平均化
- Authors: V. N. Smirnov, K. M. Kazistova, I. A. Sudakov, V. Leplat, A. V. Gasnikov, A. V. Lobanov,
- Abstract要約: Order Oracle Conceptは、関数値の相対比較にのみ依存しており、正確な値にアクセスする必要はない。
本稿では,Oracle 概念の収束のための共分散行列を改良した新しい手法を提案する。
数値実験により 理論的な結果が検証され 提案されたアプローチに対する 強力な実証的支援が得られます
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Black-box optimization, a rapidly growing field, faces challenges due to limited knowledge of the objective function's internal mechanisms. One promising approach to address this is the Stochastic Order Oracle Concept. This concept, similar to other Order Oracle Concepts, relies solely on relative comparisons of function values without requiring access to the exact values. This paper presents a novel, improved estimation of the covariance matrix for the asymptotic convergence of the Stochastic Order Oracle Concept. Our work surpasses existing research in this domain by offering a more accurate estimation of asymptotic convergence rate. Finally, numerical experiments validate our theoretical findings, providing strong empirical support for our proposed approach.
- Abstract（参考訳）: ブラックボックス最適化は急速に成長する分野であり、対象関数の内部メカニズムの知識が限られているため、課題に直面している。
これに取り組むための有望なアプローチの1つは、Stochastic Order Oracle Conceptである。
この概念は、他のオーダーオラクル概念と同様に、関数値の相対比較にのみ依存しており、正確な値にアクセスする必要はない。
本稿では,確率次数 Oracle 概念の漸近収束に対する共分散行列の精度向上について述べる。
我々の研究は、漸近収束率をより正確に推定することで、この領域における既存の研究を上回っている。
最後に, 数値実験により理論的知見が検証され, 提案手法の実証的支持が強くなった。
関連論文リスト
- Variational Inference on the Boolean Hypercube with the Quantum Entropy [0.0]
ブールハイパーキューブ上の対数マルコフ確率場の対数分割関数上界の変分推論を導出する。
そこで本研究では,これらの境界を原始双対最適化に基づいて効率的に計算するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-06T08:42:53Z) - Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。
連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
論文 参考訳（メタデータ） (2023-03-02T05:08:15Z) - Finite-Sum Coupled Compositional Stochastic Optimization: Theory and
Applications [43.48388050033774]
本稿では,非凸目的と凸目標の両方に対して単純なアルゴリズムを包括的に解析する。
また,外層と内層に等しい大きさのバッチをサンプリングすることで,実用的実装を改善するための新たな知見も提示した。
論文 参考訳（メタデータ） (2022-02-24T22:39:35Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳（メタデータ） (2021-06-30T18:32:46Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳（メタデータ） (2020-07-15T05:01:23Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳（メタデータ） (2020-06-12T00:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。