論文の概要: Shortcutting Cross-Validation: Efficiently Deriving Column-Wise Centered
and Scaled Training Set $\mathbf{X}^\mathbf{T}\mathbf{X}$ and
$\mathbf{X}^\mathbf{T}\mathbf{Y}$ Without Full Recomputation of Matrix
Products or Statistical Moments
- arxiv url: http://arxiv.org/abs/2401.13185v1
- Date: Wed, 24 Jan 2024 02:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 15:42:20.716938
- Title: Shortcutting Cross-Validation: Efficiently Deriving Column-Wise Centered
and Scaled Training Set $\mathbf{X}^\mathbf{T}\mathbf{X}$ and
$\mathbf{X}^\mathbf{T}\mathbf{Y}$ Without Full Recomputation of Matrix
Products or Statistical Moments
- Title（参考訳）: クロスバリデーションのショートカット: カラムワイズ中心およびスケールドトレーニングを効果的に導出する $\mathbf{X}^\mathbf{T}\mathbf{X}$および$\mathbf{X}^\mathbf{T}\mathbf{Y}$
- Authors: Ole-Christian Galbo Engstr{\o}m
- Abstract要約: クロスバリデーションは、目に見えないデータに基づいて予測モデルの性能を評価するために広く用いられている手法である。
入力行列と出力行列を効率的に計算するアルゴリズムを3つ提案する。
並列化への適合性は、我々のアルゴリズムと改良Kernel PLSを組み合わせたオープンソースのPython実装で強調されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-validation is a widely used technique for assessing the performance of
predictive models on unseen data. Many predictive models, such as Kernel-Based
Partial Least-Squares (PLS) models, require the computation of
$\mathbf{X}^{\mathbf{T}}\mathbf{X}$ and $\mathbf{X}^{\mathbf{T}}\mathbf{Y}$
using only training set samples from the input and output matrices,
$\mathbf{X}$ and $\mathbf{Y}$, respectively. In this work, we present three
algorithms that efficiently compute these matrices. The first one allows no
column-wise preprocessing. The second one allows column-wise centering around
the training set means. The third one allows column-wise centering and
column-wise scaling around the training set means and standard deviations.
Demonstrating correctness and superior computational complexity, they offer
significant cross-validation speedup compared with straight-forward
cross-validation and previous work on fast cross-validation - all without data
leakage. Their suitability for parallelization is highlighted with an
open-source Python implementation combining our algorithms with Improved Kernel
PLS.
- Abstract（参考訳）: クロスバリデーションは、目に見えないデータに基づいて予測モデルの性能を評価するために広く用いられている手法である。
Kernel-Based partial Least-Squares (PLS) モデルのような多くの予測モデルは、入力および出力行列からのトレーニングセットのみを使用し、$\mathbf{X}^{\mathbf{T}}\mathbf{X}$と$\mathbf{X}^{\mathbf{T}}\mathbf{Y}$の計算を必要とする。
本研究では,これらの行列を効率的に計算する3つのアルゴリズムを提案する。
最初のものはカラム単位でのプリプロセッシングを許可しない。
第2の方法は、トレーニングセット手段を中心に列方向にセンタリングすることを可能にする。
第3の方法は、トレーニングセット手段と標準偏差に関するカラムワイドの集中と列ワイドのスケーリングを可能にする。
正確性と優れた計算複雑性を実証し、ストレートフォワードのクロスバリデーションと、高速なクロスバリデーションに関する以前の作業と比較して、大きなクロスバリデーションスピードアップを提供する。
並列化への適合性は、我々のアルゴリズムと改良Kernel PLSを組み合わせたオープンソースのPython実装で強調されている。
関連論文リスト
- Learning to Solve the Constrained Most Probable Explanation Task in Probabilistic Graphical Models [10.603378323312809]
我々は、制約された最も予測可能な説明(CMPE)問題に対して、ほぼ最適解を出力することを学ぶディープニューラルネットワークを訓練する。
提案手法の特性を解析し,その有効性をいくつかのベンチマーク問題で実験的に実証する。
論文 参考訳（メタデータ） (2024-04-17T17:55:17Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
高次元におけるリストデコタブル平均推定の基本的な課題について検討する。
我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。
我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
論文 参考訳（メタデータ） (2020-11-19T17:21:37Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳（メタデータ） (2020-08-17T22:11:26Z) - Fast and Near-Optimal Diagonal Preconditioning [46.240079312553796]
左か右の対角線再スケーリングにより$mathbfA$の条件数を改善する方法を示す。
構造化混合パッキングと半定値プログラムを対象とし,$widetildeO(textnnz(mathbfA) cdot textpoly(kappastar))$ timeに対して,$mathbfA$の定数係数最適スケーリングを計算する。
論文 参考訳（メタデータ） (2020-08-04T17:53:28Z) - Fast Matrix Square Roots with Applications to Gaussian Processes and
Bayesian Optimization [24.085358075449406]
行列平方根とその逆は機械学習で頻繁に現れる。
我々は,$mathbf K1/2 mathbf b$,$mathbf K-1/2 mathbf b$とその導関数を行列ベクトル乗算(MVM)により計算するための高効率二次時間アルゴリズムを導入する。
提案手法は,Krylov部分空間法と有理近似,典型的には4ドル10分の精度で100ドル未満のMVMを推定する。
論文 参考訳（メタデータ） (2020-06-19T17:56:24Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。