論文の概要: On Kernel Eigen-alignments of KRR: Reconstruction and Generalization

• arxiv url: http://arxiv.org/abs/2605.15240v1
• Date: Thu, 14 May 2026 05:46:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.027263
• Title: On Kernel Eigen-alignments of KRR: Reconstruction and Generalization
• Title（参考訳）: KRRのカーネル固有アライメント:再構築と一般化
• Authors: Yang Liu, Ernest Fokoue, Richard Lange, Daniel Krutz,
• Abstract要約: 我々は,カーネル法における一般化性能と行列の固有ベクトルと固有値の推定との直接的な関係を確立する。 強い一般化は、固有ベクトルアライメントの増加、固有値の大きさ、連続する固有値間のギャップを必要とすることを示す。
• 参考スコア（独自算出の注目度）: 3.344730946122235
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper investigates the critical role of eigenalignments between the kernel matrix and learning targets in achieving robust generalization in learning problems. We establish a direct connection between generalization performance in kernel methods and the estimation of eigenvectors and eigenvalues of matrices, offering a more intuitive understanding compared to prior work with minimal assumptions. We also show that, since the prediction task in KRR is essentially the weighted sum of eigenvectors/singular vectors, by analyzing how much error can be caused by perturbations to the kernel matrix, we can then derive a bound on this generalization error using the estimation stability of matrix eigenvalues and eigenvectors. Compared with previous work, our analysis concentrates on finite-sample settings and on the generalization error arising from having a suboptimal finite training set. Our findings reveal that in kernel methods, as long as the kernel is of high rank, the near-zero reconstruction error can be trivially obtained, implying that the reconstruction error will have limited predictive power for generalization. Finally, we establish a generalization bound from an eigenvalues/eigenvectors estimation perspective, showing that strong generalization requires increasing eigenvector alignment, eigenvalue magnitude, or gaps between consecutive eigenvalues.
• Abstract（参考訳）: 本稿では,学習課題における堅牢な一般化を実現する上で,カーネル行列と学習目標との固有配置が果たす重要な役割について検討する。 我々は、カーネル法における一般化性能と行列の固有ベクトルと固有値の推定との直接的な関係を確立し、最小限の仮定を持つ先行研究よりも直感的な理解を提供する。 また、KRRの予測タスクは、本質的に固有ベクトル/特異ベクトルの重み付け和であるため、カーネル行列への摂動による誤差の程度を解析することにより、行列固有値と固有ベクトルの推定安定性を用いて、この一般化誤差に基づいて境界を導出できることも示している。 従来の研究と比較すると、解析は有限サンプルの設定と、最適下有限のトレーニングセットを持つことから生じる一般化誤差に焦点をあてている。 その結果,カーネル法では,カーネルが高位である限り,ゼロに近い再構成誤差を自明に得ることができ,再構成誤差が一般化の予測能力に制限があることが示唆された。 最後に、固有ベクトル推定の観点から有界な一般化を確立し、強い一般化は固有ベクトルアライメントの増加、固有値の大きさ、連続する固有値間のギャップを必要とすることを示す。

関連論文リスト

• Spectral Analysis of the Weighted Frobenius Objective [2.7857707184602165]
  反復解法を前提とした対称定値行列の近似のための重み付きフロベニウス損失の解析を行った。 解析の結果,各固有モードは対応する固有値の正方形によってスケールされ,固定誤差予算の下では,誤差が最大の固有値の方向に制限された場合にのみ損失が最小化されることがわかった。
  論文  参考訳（メタデータ） (2025-09-20T19:15:24Z)
• Resolvent-based quantum phase estimation: Towards estimation of parametrized eigenvalues [0.0]
  非正規行列の固有値を推定するための新しい手法を提案する。 与えられた非単項行列の一モジュラー固有値の位相を推定するための最初の効率的なアルゴリズムを構築する。 次に、与えられた非エルミート行列の実固有値を推定する効率的なアルゴリズムを構築する。
  論文  参考訳（メタデータ） (2024-10-07T08:51:05Z)
• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Minimax Estimation of Linear Functions of Eigenvectors in the Face of Small Eigen-Gaps [95.62172085878132]
  固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。 未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。 自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
  論文  参考訳（メタデータ） (2021-04-07T17:55:10Z)
• A simpler spectral approach for clustering in directed networks [1.52292571922932]
  隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。 広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-02-05T14:16:45Z)
• Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
  我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。 未知行列の最適低ランク近似を回復するための相対上界を導出する。
  論文  参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。