論文の概要: Shortcutting Cross-Validation: Efficiently Deriving Column-Wise Centered
and Scaled Training Set $\mathbf{X}^\mathbf{T}\mathbf{X}$ and
$\mathbf{X}^\mathbf{T}\mathbf{Y}$ Without Full Recomputation of Matrix
Products or Statistical Moments
- arxiv url: http://arxiv.org/abs/2401.13185v1
- Date: Wed, 24 Jan 2024 02:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 15:42:20.716938
- Title: Shortcutting Cross-Validation: Efficiently Deriving Column-Wise Centered
and Scaled Training Set $\mathbf{X}^\mathbf{T}\mathbf{X}$ and
$\mathbf{X}^\mathbf{T}\mathbf{Y}$ Without Full Recomputation of Matrix
Products or Statistical Moments
- Title（参考訳）: クロスバリデーションのショートカット: カラムワイズ中心およびスケールドトレーニングを効果的に導出する $\mathbf{X}^\mathbf{T}\mathbf{X}$および$\mathbf{X}^\mathbf{T}\mathbf{Y}$
- Authors: Ole-Christian Galbo Engstr{\o}m
- Abstract要約: クロスバリデーションは、目に見えないデータに基づいて予測モデルの性能を評価するために広く用いられている手法である。
入力行列と出力行列を効率的に計算するアルゴリズムを3つ提案する。
並列化への適合性は、我々のアルゴリズムと改良Kernel PLSを組み合わせたオープンソースのPython実装で強調されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-validation is a widely used technique for assessing the performance of
predictive models on unseen data. Many predictive models, such as Kernel-Based
Partial Least-Squares (PLS) models, require the computation of
$\mathbf{X}^{\mathbf{T}}\mathbf{X}$ and $\mathbf{X}^{\mathbf{T}}\mathbf{Y}$
using only training set samples from the input and output matrices,
$\mathbf{X}$ and $\mathbf{Y}$, respectively. In this work, we present three
algorithms that efficiently compute these matrices. The first one allows no
column-wise preprocessing. The second one allows column-wise centering around
the training set means. The third one allows column-wise centering and
column-wise scaling around the training set means and standard deviations.
Demonstrating correctness and superior computational complexity, they offer
significant cross-validation speedup compared with straight-forward
cross-validation and previous work on fast cross-validation - all without data
leakage. Their suitability for parallelization is highlighted with an
open-source Python implementation combining our algorithms with Improved Kernel
PLS.
- Abstract（参考訳）: クロスバリデーションは、目に見えないデータに基づいて予測モデルの性能を評価するために広く用いられている手法である。
Kernel-Based partial Least-Squares (PLS) モデルのような多くの予測モデルは、入力および出力行列からのトレーニングセットのみを使用し、$\mathbf{X}^{\mathbf{T}}\mathbf{X}$と$\mathbf{X}^{\mathbf{T}}\mathbf{Y}$の計算を必要とする。
本研究では,これらの行列を効率的に計算する3つのアルゴリズムを提案する。
最初のものはカラム単位でのプリプロセッシングを許可しない。
第2の方法は、トレーニングセット手段を中心に列方向にセンタリングすることを可能にする。
第3の方法は、トレーニングセット手段と標準偏差に関するカラムワイドの集中と列ワイドのスケーリングを可能にする。
正確性と優れた計算複雑性を実証し、ストレートフォワードのクロスバリデーションと、高速なクロスバリデーションに関する以前の作業と比較して、大きなクロスバリデーションスピードアップを提供する。
並列化への適合性は、我々のアルゴリズムと改良Kernel PLSを組み合わせたオープンソースのPython実装で強調されている。
関連論文リスト
- Learning a Single Neuron Robustly to Distributional Shifts and Adversarial Label Noise [38.551072383777594]
本研究では, 対向分布シフトの存在下でのL2$損失に対して, 単一ニューロンを学習する問題について検討した。
ベクトルベクトル二乗損失を$chi2$divergenceから$mathcalp_0$に近似するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-11T03:43:52Z) - Compressing Large Language Models using Low Rank and Low Precision Decomposition [46.30918750022739]
この研究は、新しい訓練後のLLM圧縮アルゴリズムである$rm CALDERA$を導入している。
重量行列 $mathbfW$ の固有の低ランク構造を利用して、低ランクで低精度な分解によってそれを近似する。
その結果、LlaMa-$2$$7$B/$13B$/$70$BとLlaMa-$3$B $rm CALDERA$は、既存のトレーニング後の圧縮技術より優れていることが示された。
論文 参考訳（メタデータ） (2024-05-29T08:42:30Z) - Locality Regularized Reconstruction: Structured Sparsity and Delaunay Triangulations [7.148312060227714]
線形表現学習は、その概念的単純さと、圧縮、分類、特徴抽出といったタスクにおける経験的有用性から、広く研究されている。
本研究では、正則化最小二乗回帰問題を解くことにより、$mathbfy$の局所再構成を形成する$mathbfw$を求める。
すべてのレベルの正則化と、$mathbfX$ の列が独自のデラウネー三角形を持つという穏やかな条件の下では、最適係数の非零成分の数は$d+1$ で上界となることを証明している。
論文 参考訳（メタデータ） (2024-05-01T19:56:52Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - SQ Lower Bounds for Learning Mixtures of Linear Classifiers [43.63696593768504]
この問題に対する既知のアルゴリズムは、一様混合の特別な場合であっても、本質的には最善であることを示す。
重要な技術的要素は、独立した関心を持つかもしれない球面設計の新たな構築である。
論文 参考訳（メタデータ） (2023-10-18T10:56:57Z) - Optimal Estimator for Linear Regression with Shuffled Labels [17.99906229036223]
本稿では,シャッフルラベルを用いた線形回帰の課題について考察する。
mathbb Rntimes m の $mathbf Y、mathbb Rntimes p の mathbf Pi、mathbb Rptimes m$ の mathbf B、mathbb Rntimes m$ の $mathbf Win mathbb Rntimes m$ である。
論文 参考訳（メタデータ） (2023-10-02T16:44:47Z) - Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix
Factorization [54.29685789885059]
本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。
目標は、低ランク因子の積として$mathbfA$を近似することである。
我々の手法はBMF問題の他の一般的な変種に一般化する。
論文 参考訳（メタデータ） (2023-06-02T18:55:27Z) - Cryptographic Hardness of Learning Halfspaces with Massart Noise [59.8587499110224]
マスアートノイズの存在下でのPAC学習ハーフスペースの複雑さについて検討した。
我々は,最適0-1誤差が小さい場合でも,リアルタイムのMassartハーフスペース学習者が$Omega(eta)$よりも良い誤差を得られることを示す。
論文 参考訳（メタデータ） (2022-07-28T17:50:53Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems [86.92205445270427]
非コンミニマックス問題、$min_mathbfx max_mathhidoty f(mathbfdoty)$を効率的に考える。
論文 参考訳（メタデータ） (2019-06-02T03:03:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。