論文の概要: Convergence of a class of gradient-free optimisation schemes when the objective function is noisy, irregular, or both

• arxiv url: http://arxiv.org/abs/2512.03225v1
• Date: Tue, 02 Dec 2025 21:05:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:15:36.150371
• Title: Convergence of a class of gradient-free optimisation schemes when the objective function is noisy, irregular, or both
• Title（参考訳）: 目的関数がノイズ、不規則、あるいは両方であるときの勾配のない最適化スキームの収束性
• Authors: Christophe Andrieu, Nicolas Chopin, Ettore Fincato, Mathieu Gerber,
• Abstract要約: 本研究では,非滑らかで雑音の多い目的関数を最小化するために設計されたアルゴリズムのクラスについて検討する。 収束結果は、目的関数の正則性に関する非常に弱い仮定の下で得られる。 機械学習の難解な分類例を通して,これらのアルゴリズムと収束結果との関連について述べる。
• 参考スコア（独自算出の注目度）: 4.258175645355975
• License:
• Abstract: We investigate the convergence properties of a class of iterative algorithms designed to minimize a potentially non-smooth and noisy objective function, which may be algebraically intractable and whose values may be obtained as the output of a black box. The algorithms considered can be cast under the umbrella of a generalised gradient descent recursion, where the gradient is that of a smooth approximation of the objective function. The framework we develop includes as special cases model-based and mollification methods, two classical approaches to zero-th order optimisation. The convergence results are obtained under very weak assumptions on the regularity of the objective function and involve a trade-off between the degree of smoothing and size of the steps taken in the parameter updates. As expected, additional assumptions are required in the stochastic case. We illustrate the relevance of these algorithms and our convergence results through a challenging classification example from machine learning.
• Abstract（参考訳）: 我々は,非滑らかでノイズの多い目的関数を最小化するために設計された反復アルゴリズムのクラスの収束特性について検討する。 考慮されたアルゴリズムは、一般化された勾配降下再帰の傘の下にキャストされ、勾配は目的関数の滑らかな近似のものである。 私たちが開発するフレームワークには、モデルベースとモリフィケーションメソッド、ゼロ階の最適化に対する古典的な2つのアプローチを含む。 収束結果は、目的関数の正則性に関する非常に弱い仮定の下で得られ、パラメータ更新で取られたステップの平滑化とサイズの間のトレードオフを含む。 予想通り、確率的ケースでは追加の仮定が要求される。 機械学習の難解な分類例を通して,これらのアルゴリズムと収束結果との関連について述べる。

関連論文リスト

• Stochastic Gradients under Nuisances [6.258101584466416]
  目的が未知のパラメータに依存する問題に対する勾配アルゴリズムを考察する。 この結果から, ニュアンスの存在は最適値を変化させ, 軌道を乱すことができるが, 古典的勾配アルゴリズムは適切な条件下で収束する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-28T00:07:40Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
  本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。 我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
  論文  参考訳（メタデータ） (2023-11-28T17:03:56Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Stochastic Compositional Gradient Descent under Compositional constraints [13.170519806372075]
  目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。 この問題は、公平な分類/回帰とキューシステムの設計に生じる。 提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
  論文  参考訳（メタデータ） (2020-12-17T05:38:37Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。