論文の概要: Gaussian Process Neural Additive Models

• arxiv url: http://arxiv.org/abs/2402.12518v2
• Date: Tue, 19 Mar 2024 15:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:12:03.476191
• Title: Gaussian Process Neural Additive Models
• Title（参考訳）: ガウス過程ニューラル付加モデル
• Authors: Wei Zhang, Brian Barr, John Paisley,
• Abstract要約: ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 3.7969209746164325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have revolutionized many fields, but their black-box nature also occasionally prevents their wider adoption in fields such as healthcare and finance, where interpretable and explainable models are required. The recent development of Neural Additive Models (NAMs) is a significant step in the direction of interpretable deep learning for tabular datasets. In this paper, we propose a new subclass of NAMs that use a single-layer neural network construction of the Gaussian process via random Fourier features, which we call Gaussian Process Neural Additive Models (GP-NAM). GP-NAMs have the advantage of a convex objective function and number of trainable parameters that grows linearly with feature dimensionality. It suffers no loss in performance compared to deeper NAM approaches because GPs are well-suited for learning complex non-parametric univariate functions. We demonstrate the performance of GP-NAM on several tabular datasets, showing that it achieves comparable or better performance in both classification and regression tasks with a large reduction in the number of parameters.
• Abstract（参考訳）: ディープニューラルネットワークは多くの分野に革命をもたらしたが、そのブラックボックスの性質は、解釈可能なモデルと説明可能なモデルを必要とする医療や金融などの分野で広く採用されるのを防ぐこともある。 ニューラル付加モデル(NAMs)の最近の発展は、表付きデータセットの解釈可能な深層学習の方向への大きな一歩である。 本稿では,ガウス過程ニューラル付加モデル (GP-NAM) と呼ばれる,ランダムフーリエ特徴によるガウス過程の単一層ニューラルネットワーク構築を用いたNAMの新しいサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GPは複雑な非パラメトリックな単変数関数を学習するのに適しているため、より深いNAMアプローチと比較してパフォーマンスが損なわれることはない。 GP-NAMの複数の表付きデータセットにおける性能を実証し,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において同等あるいはより良い性能が得られることを示した。

関連論文リスト

• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Conditional Neural Processes for Molecules [0.0]
  ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである 本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。 CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T16:10:12Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Deep Latent-Variable Kernel Learning [25.356503463916816]
  本稿では,潜在変数が正規化表現の符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。 実験により、DLVKL-NSDEは、小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-18T05:55:08Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。