論文の概要: Neuro-symbolic Rule Learning in Real-world Classification Tasks
- arxiv url: http://arxiv.org/abs/2303.16674v1
- Date: Wed, 29 Mar 2023 13:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 14:40:08.380002
- Title: Neuro-symbolic Rule Learning in Real-world Classification Tasks
- Title（参考訳）: 実世界の分類課題におけるニューロシンボリックルール学習
- Authors: Kexin Gu Baugh, Nuri Cingillioglu, Alessandra Russo
- Abstract要約: pix2ruleのニューラルDNFモジュールを拡張し、実世界のマルチクラスおよびマルチラベル分類タスクにおけるルール学習をサポートする。
多クラス分類において相互排他性を強制するニューラルDNF-EO(Exactly One)と呼ばれる新しい拡張モデルを提案する。
- 参考スコア（独自算出の注目度）: 75.0907310059298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuro-symbolic rule learning has attracted lots of attention as it offers
better interpretability than pure neural models and scales better than symbolic
rule learning. A recent approach named pix2rule proposes a neural Disjunctive
Normal Form (neural DNF) module to learn symbolic rules with feed-forward
layers. Although proved to be effective in synthetic binary classification,
pix2rule has not been applied to more challenging tasks such as multi-label and
multi-class classifications over real-world data. In this paper, we address
this limitation by extending the neural DNF module to (i) support rule learning
in real-world multi-class and multi-label classification tasks, (ii) enforce
the symbolic property of mutual exclusivity (i.e. predicting exactly one class)
in multi-class classification, and (iii) explore its scalability over large
inputs and outputs. We train a vanilla neural DNF model similar to pix2rule's
neural DNF module for multi-label classification, and we propose a novel
extended model called neural DNF-EO (Exactly One) which enforces mutual
exclusivity in multi-class classification. We evaluate the classification
performance, scalability and interpretability of our neural DNF-based models,
and compare them against pure neural models and a state-of-the-art symbolic
rule learner named FastLAS. We demonstrate that our neural DNF-based models
perform similarly to neural networks, but provide better interpretability by
enabling the extraction of logical rules. Our models also scale well when the
rule search space grows in size, in contrast to FastLAS, which fails to learn
in multi-class classification tasks with 200 classes and in all multi-label
settings.
- Abstract（参考訳）: ニューロシンボリックルール学習は、純粋なニューラルモデルよりも優れた解釈可能性を提供し、シンボリックルール学習よりもスケールを提供するため、多くの注目を集めている。
pix2ruleという最近のアプローチでは、フィードフォワード層でシンボリックルールを学習するためのニューラルディジャンクティブ正規形(neural DNF)モジュールが提案されている。
pix2ruleは合成二進分類において有効であることが証明されたが、実世界データに対するマルチラベルやマルチクラス分類のようなより困難なタスクには適用されていない。
本稿では、ニューラルDNFモジュールを拡張することによって、この制限に対処する。
(i)実世界のマルチクラス・マルチラベル分類タスクにおけるルール学習のサポート
(二)多クラス分類において相互排他性(即ち正確に一類を予測すること)の象徴的性質を強制し、
(iii)大規模なインプットやアウトプットに対するスケーラビリティを探求する。
pix2ruleのneural dnfモジュールに類似した多段分類を訓練し,多段分類において相互排他性を強制するneural dnf-eo (exactly one) と呼ばれる新しい拡張モデルを提案する。
我々は、ニューラルネットワークdnfベースのモデルの分類性能、拡張性、解釈性を評価し、純粋なニューラルネットワークモデルとfastlasという最先端のシンボリックルール学習者と比較する。
ニューラルdnfモデルがニューラルネットワークと同様に動作するが、論理規則の抽出を可能にすることにより、より優れた解釈性が得られることを示す。
ルール検索スペースが大きくなると、200クラスとすべてのマルチラベル設定のマルチクラス分類タスクで学習できないfastlasとは対照的に、モデルもうまくスケールします。
関連論文リスト
- CoLaNET -- A Spiking Neural Network with Columnar Layered Architecture for Classification [0.0]
本稿では、幅広い教師付き学習分類タスクに使用できるスパイキングニューラルネットワーク(SNN)アーキテクチャについて述べる。
全ての参加信号(分類対象記述、正しいクラスラベル、SNN決定)がスパイクの性質を持つと仮定する。
モデルに基づく強化学習に関わる課題に対して,私のネットワークの性能について解説する。
論文 参考訳（メタデータ） (2024-09-02T13:04:54Z) - Neural Symbolic Logical Rule Learner for Interpretable Learning [1.9526476410335776]
ルールベースのニューラルネットワークは、予測と解釈の両方の論理ルールを学ぶことによって、解釈可能な分類を可能にする。
我々は、選択離散ニューラルネットワークを利用した正規形規則学習アルゴリズム(NFRL)を導入し、共役正規形(CNF)と共役正規形(DNF)の両方の規則を学習する。
11のデータセットに関する広範な実験を通じて、NFRLは12の最先端の代替品と比較して、優れた分類性能、学習ルールの品質、効率と解釈性を示す。
論文 参考訳（メタデータ） (2024-08-21T18:09:12Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Rule Based Learning with Dynamic (Graph) Neural Networks [0.8158530638728501]
本稿ではルールベースグラフニューラルネットワーク(RuleGNN)を提案する。
実験の結果,ルールGNNの予測性能は最先端のグラフ分類器に匹敵することがわかった。
専門家の知識をルールGNNに組み込む方法を示すために,新しいベンチマークグラフデータセットを導入する。
論文 参考訳（メタデータ） (2024-06-14T12:01:18Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Deep Dependency Networks for Multi-Label Classification [24.24496964886951]
マルコフ確率場とニューラルネットワークを組み合わせた従来の手法の性能は、わずかに改善できることを示す。
我々は、依存性ネットワークを拡張するディープ依存ネットワークと呼ばれる新しいモデリングフレームワークを提案する。
単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、パフォーマンスが大幅に向上する。
論文 参考訳（メタデータ） (2023-02-01T17:52:40Z) - Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。
1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。
2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
論文 参考訳（メタデータ） (2022-11-21T09:42:15Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。
主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。
我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
論文 参考訳（メタデータ） (2021-06-14T15:19:06Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。