論文の概要: Kernel Methods and their derivatives: Concept and perspectives for the Earth system sciences

• arxiv url: http://arxiv.org/abs/2007.14706v2
• Date: Mon, 5 Oct 2020 16:18:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 19:43:53.454849
• Title: Kernel Methods and their derivatives: Concept and perspectives for the Earth system sciences
• Title（参考訳）: カーネル・メソッドとそのデリバティブ:地球系科学の概念と展望
• Authors: J. Emmanuel Johnson, Valero Laparra, Adri\'an P\'erez-Suay, Miguel D. Mahecha and Gustau Camps-Valls
• Abstract要約: そこで本研究では, カーネル法で学習した関数を, 複雑であるにもかかわらず直感的に解釈可能であることを示す。 具体的には、これらの関数の微分は単純な数学的定式化を持ち、計算が容易であり、多くの異なる問題に適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 8.226445359788402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel methods are powerful machine learning techniques which implement generic non-linear functions to solve complex tasks in a simple way. They Have a solid mathematical background and exhibit excellent performance in practice. However, kernel machines are still considered black-box models as the feature mapping is not directly accessible and difficult to interpret.The aim of this work is to show that it is indeed possible to interpret the functions learned by various kernel methods is intuitive despite their complexity. Specifically, we show that derivatives of these functions have a simple mathematical formulation, are easy to compute, and can be applied to many different problems. We note that model function derivatives in kernel machines is proportional to the kernel function derivative. We provide the explicit analytic form of the first and second derivatives of the most common kernel functions with regard to the inputs as well as generic formulas to compute higher order derivatives. We use them to analyze the most used supervised and unsupervised kernel learning methods: Gaussian Processes for regression, Support Vector Machines for classification, Kernel Entropy Component Analysis for density estimation, and the Hilbert-Schmidt Independence Criterion for estimating the dependency between random variables. For all cases we expressed the derivative of the learned function as a linear combination of the kernel function derivative. Moreover we provide intuitive explanations through illustrative toy examples and show how to improve the interpretation of real applications in the context of spatiotemporal Earth system data cubes. This work reflects on the observation that function derivatives may play a crucial role in kernel methods analysis and understanding.
• Abstract（参考訳）: カーネルメソッドは、複雑なタスクをシンプルに解決するために汎用的な非線形関数を実装する強力な機械学習技術である。 数学的な背景を持ち、実際は優れたパフォーマンスを示す。 しかし、機能マッピングが直接アクセスできず、解釈が難しいため、カーネルマシンは依然としてブラックボックスモデルとみなされており、この研究の目的は、その複雑さにもかかわらず、様々なカーネルメソッドが学習した関数の解釈が実際に可能であることを示すことである。 具体的には、これらの函数の微分は単純な数学的定式化を持ち、計算が容易であり、様々な問題に適用できることを示す。 カーネルマシンにおけるモデル関数導関数は、カーネル関数導関数に比例する。 我々は、入力に関する最も一般的なカーネル関数の第1および第2導関数の明示的な解析形式と、高次導関数を計算するための一般式を提供する。 回帰のガウス過程、分類のベクターマシンのサポート、密度推定のカーネルエントロピー成分分析、確率変数間の依存性を推定するヒルベルト・シュミット独立条件など、最もよく使われている教師なしのカーネル学習手法を分析する。 すべてのケースにおいて、我々は学習関数の微分を核関数微分の線形結合として表現した。 さらに,具体例による直感的な説明を行い,時空間地球系データキューブの文脈における実際の応用の解釈を改善する方法について述べる。 この研究は、関数微分がカーネルメソッドの分析と理解において重要な役割を果たす可能性があるという観察を反映している。

関連論文リスト

• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• An Introduction to Kernel and Operator Learning Methods for Homogenization by Self-consistent Clustering Analysis [0.48747801442240574]
  本稿では,演算子学習パラダイムの数学的基盤に関する詳細な分析について述べる。 提案したカーネル演算子学習法は,グラフカーネルネットワークを用いて,マルチスケール均質化のための機械的縮小順序法を考案する。
  論文  参考訳（メタデータ） (2022-12-01T02:36:16Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• AutoIP: A United Framework to Integrate Physics into Gaussian Processes [15.108333340471034]
  あらゆる微分方程式をガウス過程に統合できる枠組みを提案する。 本手法は,シミュレーションと実世界の応用の両方において,バニラGPの改善を示す。
  論文  参考訳（メタデータ） (2022-02-24T19:02:14Z)
• Adjoint-aided inference of Gaussian process driven differential equations [0.8257490175399691]
  本稿では,線形系の随伴性を用いて,GPとしてモデル化された強制関数を効率的に推論する方法を示す。 常微分方程式と偏微分方程式の両方の系に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-02-09T17:35:14Z)
• Vector-valued Gaussian Processes on Riemannian Manifolds via Gauge Equivariant Projected Kernels [108.60991563944351]
  本稿では、ベクトル値のガウス過程を幾何学に忠実に誘導するゲージ同変カーネルの構築法を提案する。 我々は,変分推論などの標準ガウスプロセストレーニング手法を,この設定に拡張する。
  論文  参考訳（メタデータ） (2021-10-27T13:31:10Z)
• Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware Gaussian Processes [0.0]
  再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。 いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
  論文  参考訳（メタデータ） (2021-02-05T22:07:56Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Mat\'ern Gaussian processes on Riemannian manifolds [81.15349473870816]
  ガウス過程の広く用いられるマタン類を一般化する方法を示す。 また、Mat'ern から広く用いられる2乗指数過程への一般化も拡張する。
  論文  参考訳（メタデータ） (2020-06-17T21:05:42Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。