論文の概要: Stochastic and Noisy Oracles in Smooth Continuous Optimization

• arxiv url: http://arxiv.org/abs/2610.41086v1
• Date: Thu, 29 Oct 2026 23:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.56635
• Title: Stochastic and Noisy Oracles in Smooth Continuous Optimization
• Title（参考訳）: Smooth連続最適化における確率的および雑音的オラクル
• Abstract要約: 滑らかな連続最適化における不正確な計算オラクルのモデルについて検討する。 我々は,0階,1階,2階のオラクルが量的誤差境界によって特徴づけられる枠組みを採用する。
• 参考スコア（独自算出の注目度）: 2.9911396074493752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We review models of inexact computational oracles in smooth continuous optimization and their implications for the convergence, computational complexity, and attainable accuracy of optimization algorithms. We adopt a framework in which zeroth-,first-, and second-order oracles are characterized by quantitative error bounds and may accept additional control parameters that influence both their accuracy and computational cost. We introduce deterministic and stochastic oracle models and illustrate their properties through a variety of examples, including finite-difference approximations, stochastic gradients, and randomized derivative estimators. Particular attention is given to the distinction between absolute and relative errors, bias and variance, and stochastic function evaluations with independent or coupled randomness. A central theme of the review is the use of common analytical tools to recover and compare convergence and complexity guarantees under different oracle models. For deterministic and stochastic first-order methods, we show how a general descent inequality leads to complexity bounds under various assumptions on the objective function and all proposed oracle models. In the stochastic setting, we develop bounds on expected stopping times and the accuracy that can be guaranteed under different oracle conditions. We also examine the total computational complexity of algorithms relying on specific oracle constructions and briefly review models of inexact second- order information and their use in optimization algorithms.
• Abstract（参考訳）: 滑らかな連続最適化における不正確な計算オラクルのモデルと、その収束性、計算複雑性、最適化アルゴリズムの達成可能な精度への影響についてレビューする。 我々は,ゼロ階,第1階,第2階のオラクルが量的誤差境界によって特徴付けられるフレームワークを採用し,それらの精度と計算コストの両方に影響を与える追加の制御パラメータを受け入れることができる。 決定論的および確率的オラクルモデルを導入し、有限差分近似、確率勾配、ランダム化微分推定器など、様々な例を通してそれらの特性を説明する。 特に、絶対誤差と相対誤差の区別、バイアスと分散、および独立性あるいは結合性のある確率関数の評価に注意が払われる。 レビューの中心的なテーマは、共通分析ツールを使用して、異なるオラクルモデルの下での収束と複雑性の保証を回復し、比較することである。 決定論的および確率的一階法では、汎用的な降下不等式が、目的関数と全ての提案されたオラクルモデルに関する様々な仮定の下で、複雑性境界にどのように導かれるかを示す。 確率的設定では、期待停止時間と異なるオラクル条件下で保証できる精度のバウンダリを開発する。 また、特定のオラクル構造に依存したアルゴリズムの総計算複雑性について検討し、不正確な2次情報のモデルと最適化アルゴリズムにおけるそれらの使用について簡単なレビューを行う。

関連論文リスト

• Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives [19.50913413088063]
  木アンサンブルから決定規則のコンパクトな集合を抽出する推定器を提案する。 我々の推定器の重要な新規性は、抽出されたルールの数と各ルールの相互作用深さを共同で制御する柔軟性である。 我々の推定器は既存のルール抽出アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-25T04:06:37Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• An Inexact Halpern Iteration with Application to Distributionally Robust Optimization [8.722877733571796]
  不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。 本稿では,データ駆動型分散ロバスト最適化の2つのクラスを解くために,提案手法をいかに適用できるかを示す。
  論文  参考訳（メタデータ） (2024-02-08T20:12:47Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。