論文の概要: Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence

• arxiv url: http://arxiv.org/abs/2212.12737v1
• Date: Sat, 24 Dec 2022 13:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:05:53.961311
• Title: Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence
• Title（参考訳）: 超線形収束によるカーネルベース機械学習力場再構成
• Authors: Stefan Bl\"ucher and Klaus-Robert M\"uller and Stefan Chmiela
• Abstract要約: 我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。 本研究は, ランダムサンプリングからスコア推定の活用に至るまで, アプローチの全スペクトルを網羅する。
• 参考スコア（独自算出の注目度）: 0.18416014644193063
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel machines have sustained continuous progress in the field of quantum chemistry. In particular, they have proven to be successful in the low-data regime of force field reconstruction. This is because many physical invariances and symmetries can be incorporated into the kernel function to compensate for much larger datasets. So far, the scalability of this approach has however been hindered by its cubical runtime in the number of training points. While it is known, that iterative Krylov subspace solvers can overcome these burdens, they crucially rely on effective preconditioners, which are elusive in practice. Practical preconditioners need to be computationally efficient and numerically robust at the same time. Here, we consider the broad class of Nystr\"om-type methods to construct preconditioners based on successively more sophisticated low-rank approximations of the original kernel matrix, each of which provides a different set of computational trade-offs. All considered methods estimate the relevant subspace spanned by the kernel matrix columns using different strategies to identify a representative set of inducing points. Our comprehensive study covers the full spectrum of approaches, starting from naive random sampling to leverage score estimates and incomplete Cholesky factorizations, up to exact SVD decompositions.
• Abstract（参考訳）: カーネルマシンは量子化学の分野で継続的に進歩している。 特に、それらは力場再構成の低データレコンストラクションで成功したことが証明されている。 これは、多くの物理的不変量や対称性をカーネル関数に組み込んで、より大きなデータセットを補うことができるためである。 しかしこれまでのところ、このアプローチのスケーラビリティは、トレーニングポイントの数の立方体ランタイムによって妨げられている。 反復的クリロフ部分空間解法がこれらの負担を克服できることは知られているが、実際は解明可能な実効的プレコンディショナーに依存している。 実用的なプリコンディショナーは、計算効率と数値的ロバストを同時に行う必要がある。 ここでは、元のカーネル行列のより洗練された低ランク近似に基づいてプレコンディショナを構築するためのNystr\"om-typeメソッドの幅広いクラスについて考察し、それぞれ異なる計算トレードオフを提供する。 検討されたすべてのメソッドは、異なる戦略を用いてカーネル行列列に分散された関連する部分空間を推定し、誘導点の代表集合を識別する。 私たちの包括的な研究は、無作為なサンプリングからスコアの見積もりと不完全なコレスキー因子分解、そして正確なsvd分解まで、あらゆるアプローチのスペクトルをカバーしています。

関連論文リスト

• Efficient Parameter Optimisation for Quantum Kernel Alignment: A Sub-sampling Approach in Variational Training [1.3551232282678036]
  本稿では,カーネル行列のサブセットをトレーニングの各ステップで使用するサブサンプリングトレーニング手法を提案する。 本研究では,合成データセットと実世界の乳癌データセットにサブサンプリング法を適用し,量子カーネルのトレーニングに必要な回路数を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2024-01-05T16:11:34Z)
• Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
  大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。 本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-12-14T18:53:32Z)
• On the Nystrom Approximation for Preconditioning in Kernel Machines [13.085943975157985]
  スペクトルプレコンディショナーのナイストローム近似は計算と保存がより安価であることを示し、実用化に成功している。 具体的には、対数サイズのサンプルにより、Nystromをベースとした近似プレコンディショナーが、正確なプリコンディショナーと同様に、勾配降下を加速できることを示す。
  論文  参考訳（メタデータ） (2023-12-06T06:33:25Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
  高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。 我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
  論文  参考訳（メタデータ） (2022-11-08T08:14:11Z)
• Noisy Quantum Kernel Machines [58.09028887465797]
  量子学習マシンの新たなクラスは、量子カーネルのパラダイムに基づくものである。 消散と脱コヒーレンスがパフォーマンスに与える影響について検討する。 量子カーネルマシンでは,デコヒーレンスや散逸を暗黙の正規化とみなすことができる。
  論文  参考訳（メタデータ） (2022-04-26T09:52:02Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。