論文の概要: Neural Reasoning Networks: Efficient Interpretable Neural Networks With Automatic Textual Explanations
- arxiv url: http://arxiv.org/abs/2410.07966v1
- Date: Thu, 10 Oct 2024 14:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:33:20.339427
- Title: Neural Reasoning Networks: Efficient Interpretable Neural Networks With Automatic Textual Explanations
- Title(参考訳): ニューラルネットワーク: 自動テキスト記述による効率的な解釈可能なニューラルネットワーク
- Authors: Stephen Carrow, Kyle Harper Erwin, Olga Vilenskaia, Parikshit Ram, Tim Klinger, Naweed Aghmad Khan, Ndivhuwo Makondo, Alexander Gray,
- Abstract要約: 本稿では,新しいニューラルシンボリックアーキテクチャであるニューラル推論ネットワーク(NRN)を提案する。
トレーニングアルゴリズム(R-NRN)は、バックプロップによる降下最適化を用いて、通常通りネットワークの重みを学習するが、また、帯域ベース最適化を用いてネットワーク構造自体を学習する。
R-NRNの説明は、比較したアプローチよりも短いが、より正確な特徴重要度スコアを生成する。
- 参考スコア(独自算出の注目度): 45.974930902038494
- License:
- Abstract: Recent advances in machine learning have led to a surge in adoption of neural networks for various tasks, but lack of interpretability remains an issue for many others in which an understanding of the features influencing the prediction is necessary to ensure fairness, safety, and legal compliance. In this paper we consider one class of such tasks, tabular dataset classification, and propose a novel neuro-symbolic architecture, Neural Reasoning Networks (NRN), that is scalable and generates logically sound textual explanations for its predictions. NRNs are connected layers of logical neurons which implement a form of real valued logic. A training algorithm (R-NRN) learns the weights of the network as usual using gradient descent optimization with backprop, but also learns the network structure itself using a bandit-based optimization. Both are implemented in an extension to PyTorch (https://github.com/IBM/torchlogic) that takes full advantage of GPU scaling and batched training. Evaluation on a diverse set of 22 open-source datasets for tabular classification demonstrates performance (measured by ROC AUC) which improves over multi-layer perceptron (MLP) and is statistically similar to other state-of-the-art approaches such as Random Forest, XGBoost and Gradient Boosted Trees, while offering 43% faster training and a more than 2 orders of magnitude reduction in the number of parameters required, on average. Furthermore, R-NRN explanations are shorter than the compared approaches while producing more accurate feature importance scores.
- Abstract(参考訳): 機械学習の最近の進歩は、さまざまなタスクに対するニューラルネットワークの採用の急増につながっているが、公平性、安全性、法的なコンプライアンスを保証するためには、予測に影響を及ぼす特徴に対する理解が不可欠である、多くの人々にとって、解釈可能性の欠如が問題となっている。
本稿では,そのようなタスクの1つのクラスである表型データセット分類を考察し,その予測のために,スケーラブルで論理的に健全なテキストによる説明を生成するニューラル推論ネットワーク(NRN)を提案する。
NRNは、実値論理の形式を実装する論理ニューロンの連結層である。
トレーニングアルゴリズム(R-NRN)は、バックプロップを用いて勾配勾配勾配最適化を用いてネットワークの重みを通常のように学習するが、帯域幅に基づく最適化によりネットワーク構造自体を学習する。
どちらもPyTorch(https://github.com/IBM/torchlogic)の拡張として実装されており、GPUスケーリングとバッチトレーニングを最大限に活用している。
表層分類のための22のオープンソースデータセットの多種多様なセットの評価は、多層パーセプトロン(MLP)よりも優れた性能(ROC AUC)を示し、Random Forest、XGBoost、Gradient Boosted Treesなどの最先端のアプローチと統計的に類似している。
さらに、R-NRNの説明は、比較したアプローチよりも短いが、より正確な特徴重要度スコアを生成する。
関連論文リスト
- Learning Interpretable Differentiable Logic Networks [3.8064485653035987]
解釈可能な微分可能論理ネットワーク(DLN)を学習するための新しい手法を提案する。
我々はこれらのネットワークを、入力の双対化、二項論理演算、ニューロン間の接続を通じて、個々の成分の軟化と差別化によって訓練する。
20の分類タスクの実験結果は、従来のNNと同等かそれ以上の精度で、微分可能な論理ネットワークが達成可能であることを示している。
論文 参考訳(メタデータ) (2024-07-04T21:58:26Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳(メタデータ) (2023-06-24T10:21:11Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳(メタデータ) (2022-11-10T08:32:13Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-07T13:40:09Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2021-06-24T15:38:34Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。