論文の概要: Neuro-symbolic Rule Learning in Real-world Classification Tasks
- arxiv url: http://arxiv.org/abs/2303.16674v1
- Date: Wed, 29 Mar 2023 13:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 14:40:08.380002
- Title: Neuro-symbolic Rule Learning in Real-world Classification Tasks
- Title(参考訳): 実世界の分類課題におけるニューロシンボリックルール学習
- Authors: Kexin Gu Baugh, Nuri Cingillioglu, Alessandra Russo
- Abstract要約: pix2ruleのニューラルDNFモジュールを拡張し、実世界のマルチクラスおよびマルチラベル分類タスクにおけるルール学習をサポートする。
多クラス分類において相互排他性を強制するニューラルDNF-EO(Exactly One)と呼ばれる新しい拡張モデルを提案する。
- 参考スコア(独自算出の注目度): 75.0907310059298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuro-symbolic rule learning has attracted lots of attention as it offers
better interpretability than pure neural models and scales better than symbolic
rule learning. A recent approach named pix2rule proposes a neural Disjunctive
Normal Form (neural DNF) module to learn symbolic rules with feed-forward
layers. Although proved to be effective in synthetic binary classification,
pix2rule has not been applied to more challenging tasks such as multi-label and
multi-class classifications over real-world data. In this paper, we address
this limitation by extending the neural DNF module to (i) support rule learning
in real-world multi-class and multi-label classification tasks, (ii) enforce
the symbolic property of mutual exclusivity (i.e. predicting exactly one class)
in multi-class classification, and (iii) explore its scalability over large
inputs and outputs. We train a vanilla neural DNF model similar to pix2rule's
neural DNF module for multi-label classification, and we propose a novel
extended model called neural DNF-EO (Exactly One) which enforces mutual
exclusivity in multi-class classification. We evaluate the classification
performance, scalability and interpretability of our neural DNF-based models,
and compare them against pure neural models and a state-of-the-art symbolic
rule learner named FastLAS. We demonstrate that our neural DNF-based models
perform similarly to neural networks, but provide better interpretability by
enabling the extraction of logical rules. Our models also scale well when the
rule search space grows in size, in contrast to FastLAS, which fails to learn
in multi-class classification tasks with 200 classes and in all multi-label
settings.
- Abstract(参考訳): ニューロシンボリックルール学習は、純粋なニューラルモデルよりも優れた解釈可能性を提供し、シンボリックルール学習よりもスケールを提供するため、多くの注目を集めている。
pix2ruleという最近のアプローチでは、フィードフォワード層でシンボリックルールを学習するためのニューラルディジャンクティブ正規形(neural DNF)モジュールが提案されている。
pix2ruleは合成二進分類において有効であることが証明されたが、実世界データに対するマルチラベルやマルチクラス分類のようなより困難なタスクには適用されていない。
本稿では、ニューラルDNFモジュールを拡張することによって、この制限に対処する。
(i)実世界のマルチクラス・マルチラベル分類タスクにおけるルール学習のサポート
(二)多クラス分類において相互排他性(即ち正確に一類を予測すること)の象徴的性質を強制し、
(iii)大規模なインプットやアウトプットに対するスケーラビリティを探求する。
pix2ruleのneural dnfモジュールに類似した多段分類を訓練し,多段分類において相互排他性を強制するneural dnf-eo (exactly one) と呼ばれる新しい拡張モデルを提案する。
我々は、ニューラルネットワークdnfベースのモデルの分類性能、拡張性、解釈性を評価し、純粋なニューラルネットワークモデルとfastlasという最先端のシンボリックルール学習者と比較する。
ニューラルdnfモデルがニューラルネットワークと同様に動作するが、論理規則の抽出を可能にすることにより、より優れた解釈性が得られることを示す。
ルール検索スペースが大きくなると、200クラスとすべてのマルチラベル設定のマルチクラス分類タスクで学習できないfastlasとは対照的に、モデルもうまくスケールします。
関連論文リスト
- Fuzzy Logic Visual Network (FLVN): A neuro-symbolic approach for visual
features matching [6.128849673587451]
本稿では、ニューロシンボリックLTNフレームワーク内で視覚的セマンティックな埋め込み空間を学習するタスクを定式化するFuzzy Logic Visual Network(FLVN)を提案する。
FLVNは以前の知識をクラス階層(クラスとマクロクラス)の形で組み入れ、堅牢な高レベルの帰納バイアスを持つ。
計算オーバーヘッドの少ない最近のZSL手法と競合する性能を実現する。
論文 参考訳(メタデータ) (2023-07-29T16:21:40Z) - Deep Dependency Networks for Multi-Label Classification [24.24496964886951]
マルコフ確率場とニューラルネットワークを組み合わせた従来の手法の性能は、わずかに改善できることを示す。
我々は、依存性ネットワークを拡張するディープ依存ネットワークと呼ばれる新しいモデリングフレームワークを提案する。
単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、パフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2023-02-01T17:52:40Z) - Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。
1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。
2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
論文 参考訳(メタデータ) (2022-11-21T09:42:15Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [128.76840341306067]
本稿では,この障害に対処するためにニューラルシンボリック再帰機械(NSR)を提案する。
NSRは、神経知覚、構文解析、意味推論の類似した別々のモジュールを実装している。
NSRはSCANとPCFGで100%の一般化精度を実現し、HINTの最先端モデルを約23%上回っている。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - Simple and complex spiking neurons: perspectives and analysis in a
simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。
この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。
我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文 参考訳(メタデータ) (2022-06-28T10:01:51Z) - Integrating Regular Expressions with Neural Networks via DFA [40.09868407372605]
より優れたパフォーマンスを実現するハイブリッドモデルを構築するためには、ルール知識をニューラルネットワークに統合することが非常に重要です。
具体的には、人間設計規則は正規表現(res)として定式化される。
本稿では、MDFAを中間モデルとして用いて、一致したREパターンを各入力文のルールベースの特徴として捉えることを提案する。
論文 参考訳(メタデータ) (2021-09-07T05:48:51Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。
主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。
我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
論文 参考訳(メタデータ) (2021-06-14T15:19:06Z) - Learning Accurate and Interpretable Decision Rule Sets from Neural
Networks [5.280792199222362]
本論文では,分類の解釈可能なモデルとして独立論理則の集合を解読正規形式で学習する新しいパラダイムを提案する。
我々は、ニューラルネットワークを特定の、しかし非常に単純な2層アーキテクチャでトレーニングすることとして、解釈可能な決定ルールセットを学ぶ問題を考える。
論文 参考訳(メタデータ) (2021-03-04T04:10:19Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。