論文の概要: Neural Network-Based Rule Models With Truth Tables
- arxiv url: http://arxiv.org/abs/2309.09638v1
- Date: Mon, 18 Sep 2023 10:13:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 14:12:15.539811
- Title: Neural Network-Based Rule Models With Truth Tables
- Title（参考訳）: 真理表を用いたニューラルネットワークに基づくルールモデル
- Authors: Adrien Benamira, Tristan Gu\'erand, Thomas Peyrin, Hans Soegeng
- Abstract要約: 本稿では,ルールベースモデルの大域的かつ正確な解釈可能性特性と,ディープニューラルネットワークの性能を組み合わせたニューラルネットワークフレームワークを提案する。
提案したフレームワークは、$textitTruth Table Rules$ (TT-rules)と呼ばれ、$textitTruth Table nets$ (TTnets)の上に構築されています。
- 参考スコア（独自算出の注目度）: 5.187307904567701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the decision-making process of a machine/deep learning model is
crucial, particularly in security-sensitive applications. In this study, we
introduce a neural network framework that combines the global and exact
interpretability properties of rule-based models with the high performance of
deep neural networks.
Our proposed framework, called $\textit{Truth Table rules}$ (TT-rules), is
built upon $\textit{Truth Table nets}$ (TTnets), a family of deep neural
networks initially developed for formal verification. By extracting the set of
necessary and sufficient rules $\mathcal{R}$ from the trained TTnet model
(global interpretability), yielding the same output as the TTnet (exact
interpretability), TT-rules effectively transforms the neural network into a
rule-based model. This rule-based model supports binary classification,
multi-label classification, and regression tasks for tabular datasets.
Furthermore, our TT-rules framework optimizes the rule set $\mathcal{R}$ into
$\mathcal{R}_{opt}$ by reducing the number and size of the rules. To enhance
model interpretation, we leverage Reduced Ordered Binary Decision Diagrams
(ROBDDs) to visualize these rules effectively.
After outlining the framework, we evaluate the performance of TT-rules on
seven tabular datasets from finance, healthcare, and justice domains. We also
compare the TT-rules framework to state-of-the-art rule-based methods. Our
results demonstrate that TT-rules achieves equal or higher performance compared
to other interpretable methods while maintaining a balance between performance
and complexity. Notably, TT-rules presents the first accurate rule-based model
capable of fitting large tabular datasets, including two real-life DNA datasets
with over 20K features. Finally, we extensively investigate a rule-based model
derived from TT-rules using the Adult dataset.
- Abstract（参考訳）: 機械学習モデルの意思決定プロセスを理解することは、特にセキュリティに敏感なアプリケーションにおいて重要である。
本研究では,ルールベースモデルの大域的かつ正確な解釈性と,ディープニューラルネットワークの高性能性を組み合わせたニューラルネットワークフレームワークを提案する。
提案フレームワークである$\textit{truth table rules}$ (tt-rules) は,形式的検証のために開発された深層ニューラルネットワークのファミリである$\textit{truth table nets}$ (ttnets) 上に構築されている。
訓練されたttnetモデル(グローバル解釈可能性)から必要十分条件のセット$\mathcal{r}$を抽出し、ttnetと同じ出力(例:解釈可能性)を得ることにより、tt-rulesはニューラルネットワークをルールベースモデルに効果的に変換する。
このルールベースのモデルは、グラフデータセットのバイナリ分類、マルチラベル分類、回帰タスクをサポートする。
さらに、TT-rulesフレームワークはルールの数とサイズを減らして、ルールセット $\mathcal{R}$ を $\mathcal{R}_{opt}$ に最適化します。
モデル解釈を強化するために、ROBDD(Reduced Ordered Binary Decision Diagrams)を活用し、これらのルールを効果的に視覚化する。
フレームワークの概要を説明した後、金融、医療、司法ドメインの7つの表付きデータセット上でのTTルールのパフォーマンスを評価した。
また,tt-rulesフレームワークを最先端のルールベース手法と比較した。
その結果,TTルールは,他の解釈可能な手法と比較して同等あるいは高い性能を実現し,性能と複雑性のバランスを維持していることがわかった。
特にTT-rulesは、20K以上の特徴を持つ2つの実際のDNAデータセットを含む、大きな表形式のデータセットを適合させることのできる、最初の正確なルールベースのモデルを示している。
最後に,成人データセットを用いたtt-rules由来のルールベースモデルの検討を行った。
関連論文リスト
- Best of Both Worlds: A Pliable and Generalizable Neuro-Symbolic Approach
for Relation Classification [17.398872494876365]
本稿では,関係分類のための新しいニューロシンボリックアーキテクチャを提案する。
ルールベースの手法と現代のディープラーニング技術を組み合わせる。
提案手法は4つの設定のうち3つで従来の最先端モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-05T20:08:32Z) - Learning Interpretable Rules for Scalable Data Representation and
Classification [11.393431987232425]
ルールベースのLearner Representation (RRL)は、データ表現と分類のための解釈可能な非ファジィ規則を学習する。
RRLは容易に調整でき、異なるシナリオの分類精度とモデルの複雑さのトレードオフを得ることができる。
論文 参考訳（メタデータ） (2023-10-22T15:55:58Z) - A New Interpretable Neural Network-Based Rule Model for Healthcare
Decision Making [5.666761232081187]
本研究では,ルールベースモデルのグローバルかつ正確な解釈可能性特性と,ディープニューラルネットワークの性能を組み合わせたニューラルネットワークフレームワークである$textitTruth Table Rule$(TT-rules)を紹介する。
TT-rulesは、当初は正式な検証のために開発されたディープニューラルネットワークのファミリであるtextitTruth Table nets$ (TTnet)上に構築されている。
論文 参考訳（メタデータ） (2023-09-20T07:15:48Z) - CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear
Programs [4.632241550169363]
ルールベースサロゲートモデルは、ディープニューラルネットワーク(DNN)決定境界を近似する有効な方法である。
本稿では,これらの制約に対処するCGX(Column Generation eXplainer)を提案する。
論文 参考訳（メタデータ） (2023-04-11T13:16:26Z) - Neuro-symbolic Rule Learning in Real-world Classification Tasks [75.0907310059298]
pix2ruleのニューラルDNFモジュールを拡張し、実世界のマルチクラスおよびマルチラベル分類タスクにおけるルール学習をサポートする。
多クラス分類において相互排他性を強制するニューラルDNF-EO(Exactly One)と呼ばれる新しい拡張モデルを提案する。
論文 参考訳（メタデータ） (2023-03-29T13:27:14Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-03-11T15:55:34Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-11-01T21:51:42Z) - Integrating Regular Expressions with Neural Networks via DFA [40.09868407372605]
より優れたパフォーマンスを実現するハイブリッドモデルを構築するためには、ルール知識をニューラルネットワークに統合することが非常に重要です。
具体的には、人間設計規則は正規表現(res)として定式化される。
本稿では、MDFAを中間モデルとして用いて、一致したREパターンを各入力文のルールベースの特徴として捉えることを提案する。
論文 参考訳（メタデータ） (2021-09-07T05:48:51Z) - Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。
条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2020-07-13T16:22:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。