論文の概要: Convex Regression at Scale: Geometry-Preserving Constraint Sparsification

• arxiv url: http://arxiv.org/abs/2611.01744v1
• Date: Sun, 01 Nov 2026 09:43:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:27.8004
• Title: Convex Regression at Scale: Geometry-Preserving Constraint Sparsification
• Title（参考訳）: スケールでの凸回帰:幾何保存制約スカラー化
• Abstract要約: 凸回帰のためのK$-nearest-neighbor (KNN) 局所緩和について検討した。 すべての固定次元$dge2$における修正推定器の統計的保証を確立する。 実験により,KNN予測リスクは理論スケールに適合する近傍サイズにおける全推定値予測リスクに近づいた。
• 参考スコア（独自算出の注目度）: 0.25001135032116645
• License:
• Abstract: Convex regression provides a flexible nonparametric estimation framework while incorporating appropriate shape information. However, its standard least-squares formulation has $O(n^2)$ supporting-hyperplane constraints creating a computational bottleneck as the sample size $n$ increases. We study a $K$-nearest-neighbor (KNN) localized relaxation for convex regression where we for each sample, we only maintain the $K$ nearest hyperplane constraints. Under mild regularity conditions, we establish statistical guarantees for our modified estimator in every fixed dimension $d\ge2$. In particular, for $d>4$, the population risk of our modified problem can be shown to have equivalent convergence rates as the original least square convex regression estimator of $\widetilde O(n^{-2/d})$ using neighborhoods sizes (i.e. $K=K_n$) of order $\widetilde O(n^{2(d-1)/(2d-1)})$ for general convex functions and $\widetilde O(n^{(d+1)/(d+2)})$ for strongly convex functions. To corroborate our theory, we implement iterative optimization methods to compare the prediction accuracy of the KNN relaxation with those of the full estimator across synthetic convex benchmarks. Our experiments demonstrate that KNN prediction risk approaches the full-estimator prediction risk at neighborhood sizes matching the theoretical scale.
• Abstract（参考訳）: 凸回帰は、適切な形状情報を組み込んだ柔軟な非パラメトリック推定フレームワークを提供する。 しかし、標準最小二乗の定式化は、サンプルサイズが$n$増加するにつれて計算ボトルネックを生み出すサポート超平面制約が$O(n^2)$である。 K$-nearest-neighbor (KNN) による凸回帰の局所緩和について検討した。 穏やかな正則性条件の下では、すべての固定次元$d\ge2$で修正された推定器の統計的保証を確立する。 特に$d>4$の場合、修正された問題の集団リスクは、元の最小2乗凸回帰推定値として$\widetilde O(n^{-2/d})$ 近傍サイズ(例えば$K=K_n$)の次数$\widetilde O(n^{2(d-1)/(2d-1)})$ 一般凸関数と$\widetilde O(n^{(d+1)/(d+2)})$ の収束率を持つことを示すことができる。 我々の理論を裏付けるために,我々は,KNN緩和の予測精度を,合成凸ベンチマークにおける全推定器の予測精度と比較する反復最適化手法を実装した。 実験により,KNN予測リスクは理論スケールに適合する近傍サイズにおける全推定値予測リスクに近づいた。

関連論文リスト

• WEIRDO: WEak resIdual Regularized DOob's h-transform diffusion alignment [0.0]
  本研究では,拡散生成モデルを用いて学習した分布を推定する方法について検討する。 得られた誘導推定値の2乗誤差に基づいて高確率境界を導出する。
  論文  参考訳（メタデータ） (2026-09-30T11:32:29Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours [1.529342790344802]
  我々は、$NNGP$と$GPnn$レグレッションの理論的フレームワークを開発する。 3つの重要な予測基準について、ほぼ確実にポイントワイドな制限を導出します。 これらの結果は、完全な$GP$モデルに代わる、高度にスケーラブルで原則化された代替品として、$NNGP/GPnn$の厳密な統計基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-08T16:30:40Z)
• Outrigger local polynomial regression [0.15293427903448023]
  本研究では,異なる条件付き誤差分布の分布適応性を実現するために,重み付き局所推定器を提案する。 条件スコア推定の影響を安定化するために、より広いローカルウィンドウのデータを描画する。 推定器がHlderクラスに対して最適であることは、乗法係数$A_,d$まで証明する。
  論文  参考訳（メタデータ） (2026-03-11T20:19:09Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Outlier-robust sparse/low-rank least-squares regression and robust matrix completion [1.0878040851637998]
  ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。 また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
  論文  参考訳（メタデータ） (2020-12-12T07:42:47Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。