論文の概要: From Cursed to Competitive: Closing the ZO-FO Gap via Input-to-State Stability

• arxiv url: http://arxiv.org/abs/2604.25372v1
• Date: Tue, 28 Apr 2026 08:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.778058
• Title: From Cursed to Competitive: Closing the ZO-FO Gap via Input-to-State Stability
• Title（参考訳）: CursedからCompetitiveへ:入力-状態安定性によるZO-FOギャップのクローズ
• Authors: Amir Ali Farzin, Philipp Braun, Iman Shames,
• Abstract要約: ゼロ階数 (ZO) アルゴリズムは, 1次数 (FO) に対する収束率の余剰次元依存性に悩まされないことを示す。 入力-状態安定性特性を用いて、ZO法はFO法と同じ崩壊率を示し、FO法の固定点近傍に収束する。
• 参考スコア（独自算出の注目度）: 0.703497683558609
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While it is generally understood that zeroth-order (ZO) algorithms have an extra dependency on their number of iterations for any choice of parameters, compared to their first-order (FO) counterparts, in this work, we show that under several conditions, in expectation, ZO methods do not suffer from extra dimension dependencies in their convergence rates with respect to their FO counterparts. We look at optimisation algorithms from the dynamical systems perspective and analyse the conditions under which one can formulate the average of a ZO algorithm as the average of its FO counterpart with bounded perturbations with values dependent on design parameters. Then, using input-to-state stability properties, we show ZO methods follow the same decay rate as their FO counterparts and converge to a neighbourhood of the fixed point of FO methods, where its radius depends on the bound of the norm of the perturbations, which can be made arbitrarily small. The theoretical findings are illustrated via numerical examples.
• Abstract（参考訳）: 一般に、ゼロ階数(ZO)アルゴリズムは、任意のパラメータの選択に対する反復数に余分な依存があることが理解されているが、本研究では、いくつかの条件の下では、ZO法はFO法に対して余分な次元依存性を伴わないことを示す。 本稿では、動的システムの観点から最適化アルゴリズムを考察し、設計パラメータに依存する値を持つ有界摂動を持つFOの平均としてZOアルゴリズムの平均を定式化できる条件を解析する。 そして、入力-状態安定性特性を用いて、ZO法はFO法と同等の崩壊速度を示し、その半径は摂動のノルムの境界に依存するFO法の固定点の近傍に収束し、任意に小さくすることができることを示す。 理論的知見は数値的な例によって示される。

関連論文リスト

• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Improved High-Probability Bounds for the Temporal Difference Learning Algorithm via Exponential Stability [17.771354881467435]
  一般化された, インスタンスに依存しないステップサイズを持つ単純なアルゴリズムは, ほぼ最適分散とバイアス項を得るのに十分であることを示す。 本手法は, 線形近似のための洗練された誤差境界と, ランダム行列の積に対する新しい安定性結果に基づく。
  論文  参考訳（メタデータ） (2023-10-22T12:37:25Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• A Deep Learning approach to Reduced Order Modelling of Parameter Dependent Partial Differential Equations [0.2148535041822524]
  パラメーター対解写像の効率的な近似法として,Deep Neural Networks に基づく構築的アプローチを開発した。 特に, パラメタライズド・アドベクション拡散PDEについて検討し, 強輸送場の存在下で方法論を検証した。
  論文  参考訳（メタデータ） (2021-03-10T17:01:42Z)
• A Study of Condition Numbers for First-Order Optimization [12.072067586666382]
  我々は*-ノルムと呼ばれる新しいノルムによって定量化された摂動のクラスを導入する。 滑らかさと強い凸性は任意に小さい摂動に強く影響される。 本稿では,ロバストなチューニング戦略に不可欠なメトリクスの連続性の概念を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:17:48Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Stable and consistent density-based clustering via multiparameter persistence [49.1574468325115]
  トポロジカルデータ解析による次数-リップス構成について考察する。 我々は,入力データの摂動に対する安定性を,通信間距離を用いて解析する。 私たちはこれらのメソッドを、Persistableと呼ばれる密度ベースのクラスタリングのためのパイプラインに統合します。
  論文  参考訳（メタデータ） (2020-05-18T19:45:04Z)
• Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
  我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。 我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
  論文  参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。