論文の概要: Optimal Recovery Meets Minimax Estimation
- arxiv url: http://arxiv.org/abs/2502.17671v1
- Date: Mon, 24 Feb 2025 21:37:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 15:21:23.693264
- Title: Optimal Recovery Meets Minimax Estimation
- Title（参考訳）: ミニマックス推定に最適なリカバリ
- Authors: Ronald DeVore, Robert D. Nowak, Rahul Parhi, Guergana Petrova, Jonathan W. Siegel,
- Abstract要約: 目標は、所定のノルムで$hat f$から$f$に近似する数値アルゴリズムを設計することである。
本稿では,この問題に対処し,誤差が$L_q$-normで測定された場合,Besovクラスに対するノイズレベル認識(NLA)の最小値を決定する。
- 参考スコア（独自算出の注目度）: 20.84190812813031
- License:
- Abstract: A fundamental problem in statistics and machine learning is to estimate a function $f$ from possibly noisy observations of its point samples. The goal is to design a numerical algorithm to construct an approximation $\hat f$ to $f$ in a prescribed norm that asymptotically achieves the best possible error (as a function of the number $m$ of observations and the variance $\sigma^2$ of the noise). This problem has received considerable attention in both nonparametric statistics (noisy observations) and optimal recovery (noiseless observations). Quantitative bounds require assumptions on $f$, known as model class assumptions. Classical results assume that $f$ is in the unit ball of a Besov space. In nonparametric statistics, the best possible performance of an algorithm for finding $\hat f$ is known as the minimax rate and has been studied in this setting under the assumption that the noise is Gaussian. In optimal recovery, the best possible performance of an algorithm is known as the optimal recovery rate and has also been determined in this setting. While one would expect that the minimax rate recovers the optimal recovery rate when the noise level $\sigma$ tends to zero, it turns out that the current results on minimax rates do not carefully determine the dependence on $\sigma$ and the limit cannot be taken. This paper handles this issue and determines the noise-level-aware (NLA) minimax rates for Besov classes when error is measured in an $L_q$-norm with matching upper and lower bounds. The end result is a reconciliation between minimax rates and optimal recovery rates. The NLA minimax rate continuously depends on the noise level and recovers the optimal recovery rate when $\sigma$ tends to zero.
- Abstract（参考訳）: 統計学と機械学習の基本的な問題は、その点サンプルのノイズの多い観測から関数を$f$で見積もることである。
目的は、漸近的に可能な最良の誤差(観測数$m$とノイズの分散$\sigma^2$の関数として)を達成するような所定のノルムで、近似$\hat f$ to $f$を構築するための数値アルゴリズムを設計することである。
この問題は、非パラメトリック統計(ノイズ観測)と最適回復(ノイズのない観測)の両方でかなりの注目を集めている。
量的境界は、モデルクラス仮定として知られる$f$の仮定を必要とする。
古典的な結果は、$f$ がベソフ空間の単位球に含まれると仮定する。
非パラメトリック統計学において、$\hat f$を求めるアルゴリズムの最良の性能はミニマックスレート(minimax rate)と呼ばれ、ノイズがガウス的であるという仮定の下で研究されている。
最適なリカバリでは、アルゴリズムの最良の性能は最適なリカバリレートとして知られており、この設定でも決定されている。
ノイズレベル$\sigma$がゼロとなる傾向にあるとき、ミニマックスレートが最適回復率を回復すると予想されるが、ミニマックスレートの現在の結果は、$\sigma$への依存を慎重に決定せず、限界を取ることができない。
本稿では,この問題に対処し,上限値と下限値が一致する$L_q$-normで誤差が測定された場合に,Besovクラスに対するノイズレベル認識(NLA)の最小値を決定する。
最終的な結果は、ミニマックスレートと最適なリカバリレートの調整である。
NLAのミニマックスレートはノイズレベルに継続的に依存し、$\sigma$が0の傾向にあるときに最適なリカバリレートを回復する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Active Subsampling for Measurement-Constrained M-Estimation of Individualized Thresholds with High-Dimensional Data [3.1138411427556445]
測定制約のある問題では、大きなデータセットが利用可能であるにもかかわらず、大きなデータセットのごく一部でラベルを観測するのに手頃な価格にしかならない。
このことは、どのデータポイントが予算制約のあるラベルに最も有益であるかという重要な疑問を引き起こします。
本稿では,測定制約付きM推定フレームワークにおける最適個別化しきい値の推定に焦点をあてる。
論文 参考訳（メタデータ） (2024-11-21T00:21:17Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Optimal minimax rate of learning interaction kernels [7.329333373512536]
広帯域の交換可能な分布に対して最適な収束率を得るための最小二乗推定器(tLSE)を導入する。
以上の結果から, 大きな試料限界の逆問題が保たれた場合, 左テール確率はバイアス分散トレードオフを変化させないことがわかった。
論文 参考訳（メタデータ） (2023-11-28T15:01:58Z) - Optimality in Mean Estimation: Beyond Worst-Case, Beyond Sub-Gaussian,
and Beyond $1+\alpha$ Moments [10.889739958035536]
本稿では,アルゴリズムの微細な最適性を分析するための新しい定義フレームワークを提案する。
平均値の中央値は近傍最適であり, 一定の要因が得られている。
定数係数のずれのない近傍分離推定器を見つけることは自由である。
論文 参考訳（メタデータ） (2023-11-21T18:50:38Z) - Estimating the minimizer and the minimum value of a regression function
under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文 参考訳（メタデータ） (2022-11-29T18:38:40Z) - Regret Minimization with Noisy Observations [18.24975895643299]
典型的な最適化問題では、最低コストまたは最高値の選択肢の1つを選択することが課題である。
本稿では,このようなシナリオを最小化後悔モデルを用いて検討する。
本研究では,最も高い観測値を選択するナレーションアルゴリズムが最適値よりも任意に劣っていることを示す。
論文 参考訳（メタデータ） (2022-07-19T17:48:54Z) - Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning [15.544041797200045]
ベイズ学習における最小余剰リスク(MER)は、データから学ぶ際に達成可能な最小損失と、基礎となるパラメータ$W$が観測された場合に達成できる最小損失との差として定義される。
我々は、これらの上界と下界の差に関する情報理論的境界を導出し、それらがMERに対して秩序的に厳密なレートを提供できることを示す。
論文 参考訳（メタデータ） (2021-05-10T08:14:10Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z) - Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。
我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
論文 参考訳（メタデータ） (2020-02-29T02:02:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。