論文の概要: A Robbins--Monro Sequence That Can Exploit Prior Information For Faster Convergence

• arxiv url: http://arxiv.org/abs/2401.03206v1
• Date: Sat, 6 Jan 2024 12:42:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 19:49:10.633036
• Title: A Robbins--Monro Sequence That Can Exploit Prior Information For Faster Convergence
• Title（参考訳）: より高速な収束のために事前情報を爆発させるRobins-Monroシーケンス
• Authors: Siwei Liu and Ke Ma and Stephan M. Goetz
• Abstract要約: 先行情報であるRobins-Monro列は、幅広い先行分布に対して収束していることを示す。 我々は、その性能とパラメータの影響を理解するために、そのシーケンスを数値解析する。
• 参考スコア（独自算出の注目度）: 10.172984565625294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method to improve the convergence speed of the Robbins-Monro algorithm by introducing prior information about the target point into the Robbins-Monro iteration. We achieve the incorporation of prior information without the need of a -- potentially wrong -- regression model, which would also entail additional constraints. We show that this prior-information Robbins-Monro sequence is convergent for a wide range of prior distributions, even wrong ones, such as Gaussian, weighted sum of Gaussians, e.g., in a kernel density estimate, as well as bounded arbitrary distribution functions greater than zero. We furthermore analyse the sequence numerically to understand its performance and the influence of parameters. The results demonstrate that the prior-information Robbins-Monro sequence converges faster than the standard one, especially during the first steps, which are particularly important for applications where the number of function measurements is limited, and when the noise of observing the underlying function is large. We finally propose a rule to select the parameters of the sequence.
• Abstract（参考訳）: 対象点に関する事前情報をRobins-Monroイテレーションに導入することにより,Robins-Monroアルゴリズムの収束速度を改善する手法を提案する。 我々は、-潜在的に間違った-回帰モデルを必要としない事前情報の導入を実現し、追加の制約も伴います。 この前報Robins-Monro列は、ガウス的、重み付けされたガウス的和(例えば核密度推定におけるガウス的和)や、0より大きい有界な任意の分布関数など、幅広い事前分布に対して収束していることを示す。 さらに,その特性とパラメータの影響を理解するために,シーケンスを数値的に解析する。 以上の結果から,従来のRobins-Monro系列は,特に第1段階において,関数の測定数が限られているアプリケーションや,基礎となる関数を観測するノイズが大きい場合において特に重要である。 最終的にシーケンスのパラメータを選択する規則を提案する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Safe and High-Performance Learning of Model Predicitve Control using Kernel-Based Interpolation [44.99833362998488]
  本稿では,カーネルを用いたモデル予測制御の効率的かつ安全な近似を可能にする手法を提案する。 近似関数の計算複雑性はデータ点数と線形にスケールするため,最も有望なデータを選択するスコアリング関数を提案する。 設計した近似制御器の安全性と性能を保証するため,モンテカルロ法に基づく到達可能性解析を用いる。
  論文  参考訳（メタデータ） (2024-10-09T11:04:15Z)
• Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
  我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。 更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-28T12:13:57Z)
• Isotropic Gaussian Processes on Finite Spaces of Graphs [71.26737403006778]
  種々の非重み付きグラフの集合上でガウス過程の先行を定義するための原理的手法を提案する。 さらに、未重み付きグラフの同値類の集合を検討し、それに対する事前の適切なバージョンを定義する。 化学の応用に触発されて、我々は、小データ構造における実際の分子特性予測タスクについて、提案手法を解説した。
  論文  参考訳（メタデータ） (2022-11-03T10:18:17Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Sharp global convergence guarantees for iterative nonconvex optimization: A Gaussian process perspective [30.524043513721168]
  回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。 決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。 我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
  論文  参考訳（メタデータ） (2021-09-20T21:48:19Z)
• Dimension-robust Function Space MCMC With Neural Network Priors [0.0]
  本稿では、関数の領域の次元においてより有利にスケールする関数空間に関する新しい先例を紹介する。 その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。 我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。
  論文  参考訳（メタデータ） (2020-12-20T14:52:57Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Learning to Optimize Non-Rigid Tracking [54.94145312763044]
  我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。 まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。 次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
  論文  参考訳（メタデータ） (2020-03-27T04:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。