論文の概要: Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators

• arxiv url: http://arxiv.org/abs/2006.02044v1
• Date: Wed, 3 Jun 2020 04:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 18:40:14.928033
• Title: Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators
• Title（参考訳）: 多次元における凸回帰:最小二乗推定子の準最適性
• Authors: Gil Kur, Fuchang Gao, Adityanand Guntuboyina and Bodhisattva Sen
• Abstract要約: 最小二乗推定器(LSE)は、通常の非パラメトリック回帰モデルにおいて、二乗誤差損失に準最適であることが示されている。 これらの各族について、LSEのリスクは、(対数因子まで)$n-2/d$のオーダーであることが証明されている。
• 参考スコア（独自算出の注目度）: 2.0159253466233222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The least squares estimator (LSE) is shown to be suboptimal in squared error loss in the usual nonparametric regression model with Gaussian errors for $d \geq 5$ for each of the following families of functions: (i) convex functions supported on a polytope (in fixed design), (ii) bounded convex functions supported on a polytope (in random design), and (iii) convex Lipschitz functions supported on any convex domain (in random design). For each of these families, the risk of the LSE is proved to be of the order $n^{-2/d}$ (up to logarithmic factors) while the minimax risk is $n^{-4/(d+4)}$, for $d \ge 5$. In addition, the first rate of convergence results (worst case and adaptive) for the full convex LSE are established for polytopal domains for all $d \geq 1$. Some new metric entropy results for convex functions are also proved which are of independent interest.
• Abstract（参考訳）: 最小二乗推定器 (LSE) は、通常の非パラメトリック回帰モデルにおいて、以下の関数の族ごとに$d \geq 5$ のガウス誤差を持つ二乗誤差損失に準最適であることが示されている。 (i)ポリトープ上の凸関数(固定設計) (ii)ポリトープ(ランダム設計)でサポートされた有界凸関数、及び (iii)任意の凸領域(ランダム設計)でサポートされている凸リプシッツ関数。 これらの族ごとに、lse のリスクは (対数因子による) 順序 $n^{-2/d}$ であることが証明され、minimax のリスクは $n^{-4/(d+4)}$ であり、d \ge 5$ である。 さらに、全凸 LSE に対する収束結果の第一のレート (Worst case と Adaptive) は、すべての$d \geq 1$ に対してポリトープ領域に対して確立される。 凸函数に対するいくつかの新しい計量エントロピーの結果も独立な興味を持つことを示す。

関連論文リスト

• The Sample Complexity Of ERMs In Stochastic Convex Optimization [13.896417716930687]
  実際に$tildeO(fracdepsilon+frac1epsilon2)$データポイントも十分であることを示す。 さらに、この結果を一般化し、全ての凸体に対して同様の上界が成り立つことを示す。
  論文  参考訳（メタデータ） (2023-11-09T14:29:25Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Revisiting Subgradient Method: Complexity and Convergence Beyond Lipschitz Continuity [24.45688490844496]
  次進法は非滑らかな最適化のための最も基本的なアルゴリズムスキームの1つである。 本研究では、まず、非Lipschitz凸と弱凸最小化をカバーするために、下次法の典型的な反復複雑性結果を拡張する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:36Z)
• Efficient displacement convex optimization with particle gradient descent [57.88860627977882]
  粒子勾配降下は確率測度の関数の最適化に広く用いられている。 本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-09T16:35:59Z)
• Efficient Minimax Optimal Estimators For Multivariate Convex Regression [1.583842747998493]
  i) $L$-Lipschitz convex regression (ii) $Gamma$-bounded convex regression undertopal support。 この研究は、非ドンスカー類に対する効率的なミニマックス最適推定器の存在を示す最初のものである。
  論文  参考訳（メタデータ） (2022-05-06T17:04:05Z)
• Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling [84.47780064014262]
  線形凸凹サドル点問題 $min_xmax_y f(x) ytopmathbfA x - g(y) について検討する。
  論文  参考訳（メタデータ） (2021-12-30T20:31:46Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Ridge regression with adaptive additive rectangles and other piecewise functional templates [0.0]
  関数線形回帰モデルに対する$L_2$ベースのペナル化アルゴリズムを提案する。 提案アルゴリズムは,適切なテンプレートの近似と凸リッジのような問題の解法とを交互に行う方法を示す。
  論文  参考訳（メタデータ） (2020-11-02T15:28:54Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• On Suboptimality of Least Squares with Application to Estimation of Convex Bodies [74.39616164169131]
  雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。 Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
  論文  参考訳（メタデータ） (2020-06-07T05:19:00Z)
• Efficient algorithms for multivariate shape-constrained convex regression problems [9.281671380673306]
  最小二乗推定器は、制約付き凸プログラミング(QP)問題を$(n+1)d$変数と少なくとも$n(n-1)$線形不等式制約で解くことで計算可能であることを証明している。 一般に非常に大規模な凸QPを解くために、我々は2つの効率的なアルゴリズムを設計する。1つは対称ガウス・シーデルに基づく乗算器の交互方向法(tt sGS-ADMM)であり、もう1つは半滑らかニュートン法(tt)によって解かれる部分プロブレムを持つ近似拡張ラグランジアン法(tt pALM)である。
  論文  参考訳（メタデータ） (2020-02-26T11:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。