論文の概要: Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension

• arxiv url: http://arxiv.org/abs/2311.10790v1
• Date: Fri, 17 Nov 2023 00:46:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 14:22:51.773973
• Title: Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension
• Title（参考訳）: 高次元低次多項式回帰へのMaternカーネルによるカーネル回帰のデジェネレーション
• Authors: Sergei Manzhos, Manabu Ihara
• Abstract要約: マターン型カーネルの最適長パラメータは非常に大きくなる傾向にあり、この手法は効率よく低次回帰に縮退する。 これは理論上および数値的に6次元および15次元の核の例に示される。 結果は、中規模の分子に対する近似の成功と、結合の順序付けに基づく分子モデルの重要性にさらに光を当てた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel methods such as kernel ridge regression and Gaussian process regressions with Matern type kernels have been increasingly used, in particular, to fit potential energy surfaces (PES) and density functionals, and for materials informatics. When the dimensionality of the feature space is high, these methods are used with necessarily sparse data. In this regime, the optimal length parameter of a Matern-type kernel tends to become so large that the method effectively degenerates into a low-order polynomial regression and therefore loses any advantage over such regression. This is demonstrated theoretically as well as numerically on the examples of six- and fifteen-dimensional molecular PES using squared exponential and simple exponential kernels. The results shed additional light on the success of polynomial approximations such as PIP for medium size molecules and on the importance of orders-of-coupling based models for preserving the advantages of kernel methods with Matern type kernels or on the use of physically-motivated (reproducing) kernels.
• Abstract（参考訳）: 核リッジ回帰やガウス過程回帰のような核法は、特に、ポテンシャルエネルギー曲面(pes)と密度汎関数、および材料情報学に適合するために、ますます使われてきた。 特徴空間の次元が高ければ、これらの手法は必ずしもスパースなデータで使用される。 この方法では、母子型カーネルの最適長さパラメータがあまりに大きくなり、メソッドは効果的に低次多項式回帰に退化するため、そのような回帰に対する利点が失われる。 これは理論上も数値上も6次元および15次元の分子PESの2乗指数と単純な指数核の例で示される。 その結果、中型分子に対するPIPなどの多項式近似の成功や、Matern型カーネルによるカーネルメソッドの利点の保存や、物理的に動機づけられた(再生)カーネルの使用に対する整合モデルの重要性にさらに光を当てた。

関連論文リスト

• Correspondence of NNGP Kernel and the Matern Kernel [0.6990493129893112]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルとそのガウス過程回帰データへの応用について検討する。 有効なNNGPカーネルを生成するための正規化の必要性を実証し、関連する数値課題を探求する。 次に,NNGPカーネルからの予測が,特定の状況下でのMaternカーネルの予測と密接に一致することを示す。
  論文  参考訳（メタデータ） (2024-10-10T19:00:05Z)
• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression [0.0]
  我々は確率的数値の分野から最近提案された近似アルゴリズムのクラスを分析する。 数値解析結果とカーネル行列のスペクトルのアート集中結果の状態を組み合わせ、最小値の収縮率を求める。
  論文  参考訳（メタデータ） (2024-06-18T14:50:42Z)
• Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
  大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。 本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-12-14T18:53:32Z)
• The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces [0.0]
  ガウス過程回帰(GPR)や一般にカーネルリッジ回帰(KRR)を含むカーネルベースの手法は、計算化学での利用が増加している。 本研究では, 分子ポテンシャルエネルギー曲面の次元性の増大を例に, 高次元におけるガウス型核の局所性の性質の実用的消失を示す。
  論文  参考訳（メタデータ） (2022-11-21T04:15:12Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Local Random Feature Approximations of the Gaussian Kernel [14.230653042112834]
  本稿では,一般的なガウスカーネルと,ランダムな特徴近似を用いてカーネルベースモデルを線形化する手法に着目する。 このような手法は、高周波データをモデル化する際、悪い結果をもたらすことを示すとともに、カーネル近似と下流性能を大幅に改善する新たなローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:36Z)
• Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
  他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。 スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。 我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
  論文  参考訳（メタデータ） (2021-08-21T02:14:55Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
  低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。 最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
  論文  参考訳（メタデータ） (2021-02-15T13:24:41Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。