論文の概要: Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators

• arxiv url: http://arxiv.org/abs/2006.02044v2
• Date: Tue, 3 Sep 2024 20:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:35:31.119393
• Title: Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators
• Title（参考訳）: 多次元空間における凸回帰:最小二乗推定器の準最適性
• Authors: Gil Kur, Fuchang Gao, Adityanand Guntuboyina, Bodhisattva Sen,
• Abstract要約: 最小二乗推定器は、$d$が5以上の場合の2乗誤差損失において$d$次元凸関数を推定するのに最適である。 i)ポリトープでサポートされている有界凸関数(ランダム設計)、(ii)任意の凸領域でサポートされているリプシッツ凸関数(ランダム設計)、(iii)ポリトープでサポートされている凸関数(固定設計)である。
• 参考スコア（独自算出の注目度）: 4.758195657080579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under the usual nonparametric regression model with Gaussian errors, Least Squares Estimators (LSEs) over natural subclasses of convex functions are shown to be suboptimal for estimating a $d$-dimensional convex function in squared error loss when the dimension $d$ is 5 or larger. The specific function classes considered include: (i) bounded convex functions supported on a polytope (in random design), (ii) Lipschitz convex functions supported on any convex domain (in random design), (iii) convex functions supported on a polytope (in fixed design). For each of these classes, the risk of the LSE is proved to be of the order $n^{-2/d}$ (up to logarithmic factors) while the minimax risk is $n^{-4/(d+4)}$, when $d \ge 5$. In addition, the first rate of convergence results (worst case and adaptive) for the unrestricted convex LSE are established in fixed-design for polytopal domains for all $d \geq 1$. Some new metric entropy results for convex functions are also proved which are of independent interest.
• Abstract（参考訳）: ガウス誤差を伴う通常の非パラメトリック回帰モデルの下では、凸関数の自然部分類に対する最小正方形推定器(LSE)は、次元$d$が5以上のときの2乗誤差損失において$d$次元凸関数を推定するのに最適である。 考慮される特定の関数クラスは以下のとおりである。 (i)ポリトープでサポートされている有界凸関数(ランダム設計) (ii)任意の凸領域(ランダムな設計で)でサポートされているリプシッツ凸関数 三 ポリトープ(固定設計)上の凸関数 これらのクラスごとに、LSEのリスクは$n^{-2/d}$(対数因子まで)であり、minimaxのリスクは$d \ge 5$であるときに$n^{-4/(d+4)}$である。 さらに、制限のない凸 LSE に対する収束結果の第一のレート (Worst case と Adaptive) は、すべての$d \geq 1$ に対してポリトープ領域の固定設計に確立される。 凸函数に対するいくつかの新しい計量エントロピーの結果も独立な興味を持つことが証明される。

関連論文リスト

• The Sample Complexity Of ERMs In Stochastic Convex Optimization [13.896417716930687]
  実際に$tildeO(fracdepsilon+frac1epsilon2)$データポイントも十分であることを示す。 さらに、この結果を一般化し、全ての凸体に対して同様の上界が成り立つことを示す。
  論文  参考訳（メタデータ） (2023-11-09T14:29:25Z)
• Revisiting Subgradient Method: Complexity and Convergence Beyond Lipschitz Continuity [29.56022052936922]
  次進法は非滑らかな最適化のための最も基本的なアルゴリズムスキームの1つである。 本研究ではまず, 次進法における典型的な複雑性を, 対物関数の凸度と弱凸度に拡張する。 ステップサイズの適切な減少規則を用いて,非Lipschitz凸および弱凸目的関数に対する収束結果を提供する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:36Z)
• Efficient displacement convex optimization with particle gradient descent [57.88860627977882]
  粒子勾配降下は確率測度の関数の最適化に広く用いられている。 本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-09T16:35:59Z)
• Efficient Minimax Optimal Estimators For Multivariate Convex Regression [1.583842747998493]
  i) $L$-Lipschitz convex regression (ii) $Gamma$-bounded convex regression undertopal support。 この研究は、非ドンスカー類に対する効率的なミニマックス最適推定器の存在を示す最初のものである。
  論文  参考訳（メタデータ） (2022-05-06T17:04:05Z)
• Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling [84.47780064014262]
  線形凸凹サドル点問題 $min_xmax_y f(x) ytopmathbfA x - g(y) について検討する。
  論文  参考訳（メタデータ） (2021-12-30T20:31:46Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• On Suboptimality of Least Squares with Application to Estimation of Convex Bodies [74.39616164169131]
  雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。 Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
  論文  参考訳（メタデータ） (2020-06-07T05:19:00Z)
• Efficient algorithms for multivariate shape-constrained convex regression problems [9.281671380673306]
  最小二乗推定器は、制約付き凸プログラミング(QP)問題を$(n+1)d$変数と少なくとも$n(n-1)$線形不等式制約で解くことで計算可能であることを証明している。 一般に非常に大規模な凸QPを解くために、我々は2つの効率的なアルゴリズムを設計する。1つは対称ガウス・シーデルに基づく乗算器の交互方向法(tt sGS-ADMM)であり、もう1つは半滑らかニュートン法(tt)によって解かれる部分プロブレムを持つ近似拡張ラグランジアン法(tt pALM)である。
  論文  参考訳（メタデータ） (2020-02-26T11:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。