論文の概要: Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression

• arxiv url: http://arxiv.org/abs/2405.04919v1
• Date: Wed, 8 May 2024 09:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:54:31.155319
• Title: Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression
• Title（参考訳）: $k$-NN回帰のための残余1アウトクロスバリデーションの高速計算
• Authors: Motonobu Kanagawa,
• Abstract要約: その結果, 平均2乗誤差のLOOCV推定値は, トレーニングデータに基づく平均2乗誤差の$(k+1)$-NN回帰と同一であることがわかった。 LOOCVスコアを計算するには、一度だけ$(k+1)$-NNレグレッションを適合させ、トレーニングデータ数に対して$k$-NNレグレッションのトレーニングバリデーションを繰り返す必要はない。
• 参考スコア（独自算出の注目度）: 2.295266619695618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a fast computation method for leave-one-out cross-validation (LOOCV) for $k$-nearest neighbours ($k$-NN) regression. We show that, under a tie-breaking condition for nearest neighbours, the LOOCV estimate of the mean square error for $k$-NN regression is identical to the mean square error of $(k+1)$-NN regression evaluated on the training data, multiplied by the scaling factor $(k+1)^2/k^2$. Therefore, to compute the LOOCV score, one only needs to fit $(k+1)$-NN regression only once, and does not need to repeat training-validation of $k$-NN regression for the number of training data. Numerical experiments confirm the validity of the fast computation method.
• Abstract（参考訳）: 本稿では,約$k$-nearest近辺($k$-NN)回帰に対するLOOCV(Left-one-out Cross-validation)の高速計算法について述べる。 近接する近隣住民のタイブリング条件下では、平均平方誤差を$k$-NN回帰の推定値は、トレーニングデータに基づいて評価された$(k+1)$-NN回帰の平均2乗誤差と同一であり、スケーリング係数$(k+1)^2/k^2$と乗算されることが示されている。 したがって、LOOCVスコアを計算するには、一度だけ$(k+1)$-NNレグレッションを適合させる必要があり、トレーニングデータ数に対して$k$-NNレグレッションのトレーニングバリデーションを繰り返す必要はない。 数値実験により高速計算法の有効性が確認された。

関連論文リスト

• Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations [51.14495595270775]
  我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。 この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T19:52:43Z)
• Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization [3.061662434597098]
  本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。 提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
  論文  参考訳（メタデータ） (2023-10-29T01:13:55Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。 提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Online Active Regression [8.397196353612042]
  学習者はデータポイントを1つずつ受け取り、対応するラベルを収集すべきかを判断する。 目標は、ラベルクエリの少ない予算で、受信したデータポイントのレグレッションを効率的に維持することである。
  論文  参考訳（メタデータ） (2022-07-13T03:53:25Z)
• Permuted and Unlinked Monotone Regression in $\mathbb{R}^d$: an approach based on mixture modeling and optimal transport [4.924126492174802]
  回帰関数の巡回的単調性の概念は、置換/無リンク回帰モデルにおける同定と推定に十分であることを示す。 我々は,Keefer-Wolfowitz に基づく,計算効率が良く,使いやすいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-10T18:37:59Z)
• Oblivious sketching for logistic regression [72.42202783677811]
  本稿では,ロジスティック回帰のための最初のデータ難読スケッチを示す。 私たちのスケッチは速く、シンプルで、実装も簡単です。
  論文  参考訳（メタデータ） (2021-07-14T11:29:26Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence [26.51921319084656]
  最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。 我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
  論文  参考訳（メタデータ） (2021-02-03T22:54:27Z)
• Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression [72.84177488527398]
  相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。 提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
  論文  参考訳（メタデータ） (2020-09-08T20:32:26Z)
• Fast Approximate Multi-output Gaussian Processes [6.6174748514131165]
  提案手法のトレーニングには、$N×n$固有関数行列と$n×n$逆数しか必要とせず、$n$は選択された固有値の数である。 提案手法は,複数の出力に対して回帰し,任意の順序の回帰器の導関数を推定し,それらの相関関係を学習することができる。
  論文  参考訳（メタデータ） (2020-08-22T14:34:45Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。