論文の概要: Learning Interpretable Differentiable Logic Networks

• arxiv url: http://arxiv.org/abs/2407.04168v1
• Date: Thu, 4 Jul 2024 21:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 15:00:44.271901
• Title: Learning Interpretable Differentiable Logic Networks
• Title（参考訳）: 解釈可能な微分可能論理ネットワークの学習
• Authors: Chang Yue, Niraj K. Jha,
• Abstract要約: 解釈可能な微分可能論理ネットワーク(DLN)を学習するための新しい手法を提案する。 我々はこれらのネットワークを、入力の双対化、二項論理演算、ニューロン間の接続を通じて、個々の成分の軟化と差別化によって訓練する。 20の分類タスクの実験結果は、従来のNNと同等かそれ以上の精度で、微分可能な論理ネットワークが達成可能であることを示している。
• 参考スコア（独自算出の注目度）: 3.8064485653035987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ubiquity of neural networks (NNs) in real-world applications, from healthcare to natural language processing, underscores their immense utility in capturing complex relationships within high-dimensional data. However, NNs come with notable disadvantages, such as their "black-box" nature, which hampers interpretability, as well as their tendency to overfit the training data. We introduce a novel method for learning interpretable differentiable logic networks (DLNs) that are architectures that employ multiple layers of binary logic operators. We train these networks by softening and differentiating their discrete components, e.g., through binarization of inputs, binary logic operations, and connections between neurons. This approach enables the use of gradient-based learning methods. Experimental results on twenty classification tasks indicate that differentiable logic networks can achieve accuracies comparable to or exceeding that of traditional NNs. Equally importantly, these networks offer the advantage of interpretability. Moreover, their relatively simple structure results in the number of logic gate-level operations during inference being up to a thousand times smaller than NNs, making them suitable for deployment on edge devices.
• Abstract（参考訳）: 医療から自然言語処理まで、現実世界のアプリケーションにおけるニューラルネットワーク(NN)の普遍性は、高次元データ内の複雑な関係を捉える上で、その大きな有用性を示している。 しかし、NNには、解釈性を損なう「ブラックボックス」の性質や、トレーニングデータに過度に適合する傾向など、顕著な欠点がある。 本稿では,複数レイヤのバイナリ論理演算子を用いるアーキテクチャであるDLN(Interpretable Differentiable logic Network)を学習する新しい手法を提案する。 我々はこれらのネットワークを、入力の双対化、バイナリ論理演算、ニューロン間の接続を通じて、個々のコンポーネント、例えば、ソフト化と差別化によって訓練する。 このアプローチは、勾配に基づく学習手法の使用を可能にする。 20の分類タスクに関する実験結果は、従来のNNと同等かそれ以上の精度で、微分可能な論理ネットワークが達成可能であることを示している。 同じように、これらのネットワークは解釈可能性の利点を提供する。 さらに、その比較的単純な構造により、推論中の論理ゲートレベルの操作数はNNの1000倍も小さくなり、エッジデバイスへのデプロイに適している。

関連論文リスト

• Neural Reasoning Networks: Efficient Interpretable Neural Networks With Automatic Textual Explanations [45.974930902038494]
  本稿では,新しいニューラルシンボリックアーキテクチャであるニューラル推論ネットワーク(NRN)を提案する。 トレーニングアルゴリズム(R-NRN)は、バックプロップによる降下最適化を用いて、通常通りネットワークの重みを学習するが、また、帯域ベース最適化を用いてネットワーク構造自体を学習する。 R-NRNの説明は、比較したアプローチよりも短いが、より正確な特徴重要度スコアを生成する。
  論文  参考訳（メタデータ） (2024-10-10T14:27:12Z)
• GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks [5.2969467015867915]
  本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。 我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。 両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
  論文  参考訳（メタデータ） (2024-08-27T04:57:53Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
  本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。 学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。 モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T12:44:28Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。