論文の概要: Learning Active Subspaces and Discovering Important Features with
Gaussian Radial Basis Functions Neural Networks
- arxiv url: http://arxiv.org/abs/2307.05639v1
- Date: Tue, 11 Jul 2023 09:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 15:48:39.860938
- Title: Learning Active Subspaces and Discovering Important Features with
Gaussian Radial Basis Functions Neural Networks
- Title(参考訳): ガウスラジアル基底関数ニューラルネットワークによるアクティブ部分空間の学習と重要な特徴の発見
- Authors: Danny D'Agostino, Ilija Ilievski, Christine Annette Shoemaker
- Abstract要約: モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
同時に固有ベクトルは入力と潜伏変数の絶対的な変動の観点から関係を強調する。
本結果は,提案モデルが競合相手に対して魅力的な予測性能を与えるだけでなく,有意義かつ解釈可能な結果をもたらすことを示す。
- 参考スコア(独自算出の注目度): 1.7403133838762443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Providing a model that achieves a strong predictive performance and at the
same time is interpretable by humans is one of the most difficult challenges in
machine learning research due to the conflicting nature of these two
objectives. To address this challenge, we propose a modification of the Radial
Basis Function Neural Network model by equipping its Gaussian kernel with a
learnable precision matrix. We show that precious information is contained in
the spectrum of the precision matrix that can be extracted once the training of
the model is completed. In particular, the eigenvectors explain the directions
of maximum sensitivity of the model revealing the active subspace and
suggesting potential applications for supervised dimensionality reduction. At
the same time, the eigenvectors highlight the relationship in terms of absolute
variation between the input and the latent variables, thereby allowing us to
extract a ranking of the input variables based on their importance to the
prediction task enhancing the model interpretability. We conducted numerical
experiments for regression, classification, and feature selection tasks,
comparing our model against popular machine learning models and the
state-of-the-art deep learning-based embedding feature selection techniques.
Our results demonstrate that the proposed model does not only yield an
attractive prediction performance with respect to the competitors but also
provides meaningful and interpretable results that potentially could assist the
decision-making process in real-world applications. A PyTorch implementation of
the model is available on GitHub at the following link.
https://github.com/dannyzx/GRBF-NNs
- Abstract(参考訳): 強力な予測性能を達成し、同時に人間によって解釈可能なモデルを提供することは、これら2つの目的の相反する性質のため、機械学習研究における最も難しい課題の1つである。
この課題に対処するために,ガウス核に学習可能な精度行列を組み込むことにより,ラジアル基底関数ニューラルネットワークモデルの修正を提案する。
モデルのトレーニングが完了したら抽出できる精度行列のスペクトルに貴重な情報が含まれていることを示す。
特に固有ベクトルは、活性部分空間を明らかにするモデルの最大感度の方向を説明し、教師付き次元減少への潜在的応用を提案する。
同時に、固有ベクトルは入力変数と潜在変数の絶対変動の観点からの関係を強調し、モデル解釈可能性を高める予測タスクの重要性に基づいて入力変数のランキングを抽出することができる。
回帰,分類,特徴選択に関する数値実験を行い,一般的な機械学習モデルと最先端のディープラーニングに基づく埋め込み特徴選択手法との比較を行った。
本結果は,提案モデルが競合相手に対して魅力的な予測性能をもたらすだけでなく,現実のアプリケーションにおける意思決定プロセスを支援する可能性のある有意義で解釈可能な結果をもたらすことを示す。
このモデルのPyTorch実装は、次のリンクでGitHubで公開されている。
https://github.com/dannyzx/GRBF-NNs
関連論文リスト
- IGANN Sparse: Bridging Sparsity and Interpretability with Non-linear Insight [4.010646933005848]
IGANN Sparseは、一般化された加法モデルのファミリーから生まれた、新しい機械学習モデルである。
トレーニング中の非線形特徴選択プロセスを通じて、スパシティを促進する。
これにより、予測性能を犠牲にすることなく、モデル空間の改善による解釈可能性を保証する。
論文 参考訳(メタデータ) (2024-03-17T22:44:36Z) - The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳(メタデータ) (2023-02-02T05:00:29Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳(メタデータ) (2022-12-09T03:58:22Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳(メタデータ) (2021-11-10T07:07:54Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳(メタデータ) (2021-07-07T11:17:09Z) - Gaussian Function On Response Surface Estimation [12.35564140065216]
メタモデリング手法によるブラックボックス機械学習モデルの解釈(機能とサンプル)のための新しいフレームワークを提案する。
メタモデルは、興味のある領域のデータサンプルでコンピュータ実験を実行することによって、訓練された複雑なモデルによって生成されたデータから推定することができる。
論文 参考訳(メタデータ) (2021-01-04T04:47:00Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。