論文の概要: Blind Random Search with Noisy Measurements: Almost Sure Convergence and Convergence Rates
- arxiv url: http://arxiv.org/abs/2610.33302v1
- Date: Fri, 23 Oct 2026 21:12:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.29674
- Title: Blind Random Search with Noisy Measurements: Almost Sure Convergence and Convergence Rates
- Title(参考訳): 雑音測定によるブラインドランダム探索:ほぼ確実に収束率と収束率
- Abstract要約: ブラインドランダム探索は、損失関数の値のみを必要とする単純な大域的最適化手法である。
我々は、消失する受入閾値とノイズ損失測定のランニング平均を組み合わせることで、ブラインドランダム検索を拡張した。
- 参考スコア(独自算出の注目度): 0.6445605125467574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Blind random search is a simple global optimization method that only requires the value of the loss function, without needing gradient information or an explicit loss model. However, its classical formulation assumes that the loss evaluation is noise-free, which limits its direct application to practical problems with noisy measurements. We extend blind random search by combining a vanishing acceptance threshold with the running average of noisy loss measurements. Under the stated assumptions, we prove that the proposed algorithm converges almost surely to the global minimizer. We further analyze the rate at which the loss at the current estimate approaches the minimum loss. For low-dimensional cases, we obtain an almost sure asymptotic upper bound on the difference between the two, and for high-dimensional cases, we prove that this difference, suitably scaled, has an exact Weibull limiting distribution.
- Abstract(参考訳): ブラインドランダムサーチは、勾配情報や明示的な損失モデルを必要としない、損失関数の値のみを必要とする単純な大域的最適化手法である。
しかし、その古典的な定式化は損失評価がノイズフリーであると仮定し、ノイズ測定による現実的な問題への直接適用を制限する。
我々は、消失する受入閾値とノイズ損失測定のランニング平均を組み合わせることで、ブラインドランダム検索を拡張した。
提案した仮定の下では,提案アルゴリズムが大域最小化器にほぼ確実に収束することを証明している。
さらに、現在の推定値における損失が最小損失に近づく速度を解析する。
低次元の場合、両者の差によるほぼ確実な漸近上界を求め、高次元の場合、この差が適切にスケールされ、正確なワイブル制限分布を持つことを証明する。
関連論文リスト
- Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳(メタデータ) (2024-06-04T03:35:25Z) - Fast and Accurate Estimation of Low-Rank Matrices from Noisy
Measurements via Preconditioned Non-Convex Gradient Descent [11.74020933567308]
非勾配降下は、雑音測定から低ランクn基底真理行列を推定する一般的な方法である。
本稿では,局所収束を最小限の最適度に加速させるため,雑音測定のためのプレコンディショニングをいかに行うべきかを述べる。
論文 参考訳(メタデータ) (2023-05-26T19:32:07Z) - Limitations of Information-Theoretic Generalization Bounds for Gradient
Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。
勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。
以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文 参考訳(メタデータ) (2022-12-27T17:16:48Z) - Computationally Efficient and Statistically Optimal Robust Low-rank
Matrix and Tensor Estimation [15.389011827844572]
低ランク線形収縮推定法では, どちらも統計的に困難である。
本稿では,計算効率だけでなく,統計的に最適である新しいサブオリエント(RsGrad)を提案する。
論文 参考訳(メタデータ) (2022-03-02T09:05:15Z) - Global Convergence of Sub-gradient Method for Robust Matrix Recovery:
Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。
我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
論文 参考訳(メタデータ) (2022-02-17T17:50:04Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳(メタデータ) (2020-06-14T10:42:23Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳(メタデータ) (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。