論文の概要: Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization

• arxiv url: http://arxiv.org/abs/2310.18860v1
• Date: Sun, 29 Oct 2023 01:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:08:19.366712
• Title: Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization
• Title（参考訳）: bayes beatsクロス検証:期待最大化による効率的かつ正確なリッジ回帰
• Authors: Shu Yu Tew, Mario Boley, Daniel F. Schmidt
• Abstract要約: 本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。 提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
• 参考スコア（独自算出の注目度）: 3.061662434597098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for tuning the regularization hyper-parameter, $\lambda$, of a ridge regression that is faster to compute than leave-one-out cross-validation (LOOCV) while yielding estimates of the regression parameters of equal, or particularly in the setting of sparse covariates, superior quality to those obtained by minimising the LOOCV risk. The LOOCV risk can suffer from multiple and bad local minima for finite $n$ and thus requires the specification of a set of candidate $\lambda$, which can fail to provide good solutions. In contrast, we show that the proposed method is guaranteed to find a unique optimal solution for large enough $n$, under relatively mild conditions, without requiring the specification of any difficult to determine hyper-parameters. This is based on a Bayesian formulation of ridge regression that we prove to have a unimodal posterior for large enough $n$, allowing for both the optimal $\lambda$ and the regression coefficients to be jointly learned within an iterative expectation maximization (EM) procedure. Importantly, we show that by utilizing an appropriate preprocessing step, a single iteration of the main EM loop can be implemented in $O(\min(n, p))$ operations, for input data with $n$ rows and $p$ columns. In contrast, evaluating a single value of $\lambda$ using fast LOOCV costs $O(n \min(n, p))$ operations when using the same preprocessing. This advantage amounts to an asymptotic improvement of a factor of $l$ for $l$ candidate values for $\lambda$ (in the regime $q, p \in O(\sqrt{n})$ where $q$ is the number of regression targets).
• Abstract（参考訳）: 本稿では,リッジ回帰の正則化ハイパーパラメータである$\lambda$のチューニング法を提案する。locvよりも計算が早いが,locvのリスクを最小化することで得られた値よりも,回帰パラメータが均等で,特にスパース共変量の設定において優れた品質を推定できる。 LOOCVのリスクは、有限$n$で複数の悪いローカルミニマに悩まされる可能性があるため、良いソリューションを提供できない候補$\lambda$のセットの仕様が必要である。 これとは対照的に,提案手法は比較的穏やかな条件下で,過度パラメータの特定が困難になることなく,十分大きな$n$に対して一意に最適解を求めることが保証されている。 これはベイジアンによるリッジ回帰の定式化に基づいており、これは十分大きい$n$に対して一様後方を持つことを証明し、最適$\lambda$と回帰係数の両方を反復期待最大化(EM)手順で共同で学習することができる。 重要なことは、適切な前処理ステップを利用することで、$n$行と$p$列を持つ入力データに対して、メインEMループの単一イテレーションを$O(\min(n, p))$演算で実装できることである。 対照的に、高速loocvを使った$\lambda$の1つの値の評価は、同じ前処理を使用する場合、$o(n \min(n, p))$演算がかかる。 この利点は、$l$が$\lambda$の候補値に対して$l$という漸近的な改善である(レジーム$qでは、p \in o(\sqrt{n})$ ここで$q$は回帰ターゲットの数である)。

関連論文リスト

• Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
  Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。 提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
  論文  参考訳（メタデータ） (2024-05-30T21:36:12Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
  敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。 初期解法はハマー損失最小化に基づくM推定器である。 最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
  論文  参考訳（メタデータ） (2023-05-26T09:33:17Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Outlier-robust sparse/low-rank least-squares regression and robust matrix completion [1.0878040851637998]
  ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。 また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
  論文  参考訳（メタデータ） (2020-12-12T07:42:47Z)
• Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression [72.84177488527398]
  相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。 提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
  論文  参考訳（メタデータ） (2020-09-08T20:32:26Z)
• Minimum discrepancy principle strategy for choosing $k$ in $k$-NN regression [2.0411082897313984]
  保持データを用いずに、$k$-NN回帰推定器でハイパーパラメータ$k$を選択するための新しいデータ駆動戦略を提案する。 本稿では,早期停止と最小一致原理に基づく実践的戦略を実践的に容易に導入することを提案する。
  論文  参考訳（メタデータ） (2020-08-20T00:13:19Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。