論文の概要: Estimating the minimizer and the minimum value of a regression function
under passive design
- arxiv url: http://arxiv.org/abs/2211.16457v1
- Date: Tue, 29 Nov 2022 18:38:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 17:44:24.599794
- Title: Estimating the minimizer and the minimum value of a regression function
under passive design
- Title（参考訳）: パッシブ設計における回帰関数の最小値と最小値の推定
- Authors: Arya Akhavan, Davit Gogolashvili, Alexandre B. Tsybakov
- Abstract要約: 最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
- 参考スコア（独自算出の注目度）: 72.85024381807466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new method for estimating the minimizer $\boldsymbol{x}^*$ and
the minimum value $f^*$ of a smooth and strongly convex regression function $f$
from the observations contaminated by random noise. Our estimator
$\boldsymbol{z}_n$ of the minimizer $\boldsymbol{x}^*$ is based on a version of
the projected gradient descent with the gradient estimated by a regularized
local polynomial algorithm. Next, we propose a two-stage procedure for
estimation of the minimum value $f^*$ of regression function $f$. At the first
stage, we construct an accurate enough estimator of $\boldsymbol{x}^*$, which
can be, for example, $\boldsymbol{z}_n$. At the second stage, we estimate the
function value at the point obtained in the first stage using a rate optimal
nonparametric procedure. We derive non-asymptotic upper bounds for the
quadratic risk and optimization error of $\boldsymbol{z}_n$, and for the risk
of estimating $f^*$. We establish minimax lower bounds showing that, under
certain choice of parameters, the proposed algorithms achieve the minimax
optimal rates of convergence on the class of smooth and strongly convex
functions.
- Abstract（参考訳）: 本稿では,最小値$\boldsymbol{x}^*$と最小値$f^*$を,ランダムノイズで汚染された観測値から,滑らかで強い凸回帰関数$f$と推定する手法を提案する。
最小値である$\boldsymbol{x}^*$ の推定値 $\boldsymbol{z}_n$ は、正規化された局所多項式アルゴリズムによって推定される勾配を持つ投影勾配降下のバージョンに基づいている。
次に,回帰関数 $f$ の最小値 $f^*$ を推定するための2段階の手順を提案する。
最初の段階では、$\boldsymbol{x}^*$の正確な推定器を構築し、例えば$\boldsymbol{z}_n$とすることができる。
第2段階では、最適非パラメトリック法を用いて第1段階で得られた点における関数値を推定する。
我々は、$\boldsymbol{z}_n$の二次リスクと最適化誤差の非漸近上限と、$f^*$を推定するリスクを導出する。
パラメータの特定の選択の下で、提案アルゴリズムが滑らかかつ強い凸関数のクラス上で収束するミニマックス最適速度を達成することを示すミニマックス下限を定式化する。
関連論文リスト
- Active Subsampling for Measurement-Constrained M-Estimation of Individualized Thresholds with High-Dimensional Data [3.1138411427556445]
測定制約のある問題では、大きなデータセットが利用可能であるにもかかわらず、大きなデータセットのごく一部でラベルを観測するのに手頃な価格にしかならない。
このことは、どのデータポイントが予算制約のあるラベルに最も有益であるかという重要な疑問を引き起こします。
本稿では,測定制約付きM推定フレームワークにおける最適個別化しきい値の推定に焦点をあてる。
論文 参考訳（メタデータ） (2024-11-21T00:21:17Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Bayes beats Cross Validation: Efficient and Accurate Ridge Regression
via Expectation Maximization [3.061662434597098]
本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。
提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
論文 参考訳（メタデータ） (2023-10-29T01:13:55Z) - Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。
初期解法はハマー損失最小化に基づくM推定器である。
最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
論文 参考訳（メタデータ） (2023-05-26T09:33:17Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。
主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:19:30Z) - Faster Perturbed Stochastic Gradient Methods for Finding Local Minima [92.99933928528797]
局所最小値を求めるための高速な摂動勾配フレームワークであるtttPullbackを提案する。
SARAH/SP や STORM のような勾配推定器を用いたプルバックは $(epsilon, epsilon_H)$approximate local minima を $tilde O(epsilon-3 + H-6)$ 内で見つけることができる。
我々のフレームワークの中核となる考え方は、勾配評価の平均運動を制御するステップサイズのプルバック方式である。
論文 参考訳（メタデータ） (2021-10-25T07:20:05Z) - Stochastic Bias-Reduced Gradient Methods [44.35885731095432]
モロー・吉田関数の任意の有界な$x_star$の低バイアスで低コストな平滑化である。
論文 参考訳（メタデータ） (2021-06-17T13:33:05Z) - Saddle Point Optimization with Approximate Minimization Oracle [8.680676599607125]
サドル点最適化に対する主要なアプローチである$min_xmax_y f(x, y)$は、GAN(Generative Adversarial Network)によって一般化される勾配に基づくアプローチである。
対照的に、最小化問題を解くオラクルのみに依存する代替手法を解析する。
我々のアプローチでは、近似解 $x'$ と $y'$ to $min_x'f(x', y)$ を与えられた点 $(x, y)$ に配置し、これらの近似解 $(x', y)$ に更新する。
論文 参考訳（メタデータ） (2021-03-29T23:03:24Z) - On Suboptimality of Least Squares with Application to Estimation of
Convex Bodies [74.39616164169131]
雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。
Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
論文 参考訳（メタデータ） (2020-06-07T05:19:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。