論文の概要: Gaussian Process Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2407.18397v1
• Date: Thu, 25 Jul 2024 21:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:59:16.815672
• Title: Gaussian Process Kolmogorov-Arnold Networks
• Title（参考訳）: Gaussian Process Kolmogorov-Arnold Networks
• Authors: Andrew Siyuan Chen,
• Abstract要約: 我々は、ガウス過程(GP)を非線形ニューロンとして組み込むことにより、コルモゴロフ・アーノルドネットワーク(KAN)への確率的拡張を導入し、これをGP-KANと呼ぶ。 これらのGPニューロンは、少数のパラメータを使用しながら頑健な非線形モデリング能力を示し、フィードフォワードネットワーク構造に容易に完全に組み込むことができる。 MNIST分類の文脈では、GP-KANをベースとした8千のパラメータのモデルは、150万のパラメータを持つ現在の最先端モデルと比較して98.5%の予測精度を達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a probabilistic extension to Kolmogorov Arnold Networks (KANs) by incorporating Gaussian Process (GP) as non-linear neurons, which we refer to as GP-KAN. A fully analytical approach to handling the output distribution of one GP as an input to another GP is achieved by considering the function inner product of a GP function sample with the input distribution. These GP neurons exhibit robust non-linear modelling capabilities while using few parameters and can be easily and fully integrated in a feed-forward network structure. They provide inherent uncertainty estimates to the model prediction and can be trained directly on the log-likelihood objective function, without needing variational lower bounds or approximations. In the context of MNIST classification, a model based on GP-KAN of 80 thousand parameters achieved 98.5% prediction accuracy, compared to current state-of-the-art models with 1.5 million parameters.
• Abstract（参考訳）: 本稿では,ガウス過程(GP)を非線形ニューロンとして組み込むことにより,コルモゴロフ・アーノルドネットワーク(KAN)の確率的拡張を導入する。 入力分布を持つGP関数サンプルの関数内積を考慮し、あるGPの出力分布を他のGPへの入力として扱うための完全な解析的アプローチを実現する。 これらのGPニューロンは、少数のパラメータを使用しながら頑健な非線形モデリング能力を示し、フィードフォワードネットワーク構造に容易に完全に組み込むことができる。 これらはモデル予測に固有の不確実性推定を提供し、変動的な下界や近似を必要とせず、ログのような目的関数を直接訓練することができる。 MNIST分類の文脈では、GP-KANをベースとした8千のパラメータのモデルは、150万のパラメータを持つ現在の最先端モデルと比較して98.5%の予測精度を達成した。

関連論文リスト

• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Non-Gaussian Process Regression [0.0]
  我々はGPフレームワークを時間変化したGPの新たなクラスに拡張し、重い尾の非ガウス的振る舞いの簡単なモデリングを可能にする。 このモデルに対するマルコフ連鎖モンテカルロ推論手順を示し、潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2022-09-07T13:08:22Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data [5.00301731167245]
  混合領域共分散関数に対する基底関数近似スキームを導出する。 我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。 また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
  論文  参考訳（メタデータ） (2021-11-03T04:47:37Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Physics-constrained deep neural network method for estimating parameters in a redox flow battery [68.8204255655161]
  バナジウムフローバッテリ(VRFB)のゼロ次元(0D)モデルにおけるパラメータ推定のための物理拘束型ディープニューラルネットワーク(PCDNN)を提案する。 そこで, PCDNN法は, 動作条件のモデルパラメータを推定し, 電圧の0Dモデル予測を改善することができることを示す。 また,PCDNNアプローチでは,トレーニングに使用しない操作条件のパラメータ値を推定する一般化能力が向上することが実証された。
  論文  参考訳（メタデータ） (2021-06-21T23:42:58Z)
• Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
  画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。 ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。 次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。 実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
  論文  参考訳（メタデータ） (2020-10-21T10:08:21Z)
• Modulating Scalable Gaussian Processes for Expressive Statistical Learning [25.356503463916816]
  ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。 本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
  論文  参考訳（メタデータ） (2020-08-29T06:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。