論文の概要: Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation

• arxiv url: http://arxiv.org/abs/2012.08459v1
• Date: Tue, 15 Dec 2020 17:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:35:56.172853
• Title: Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation
• Title（参考訳）: モデル検証のための畳み込み規則付き二元ニューラルネットワークからの規則抽出
• Authors: Sophie Burkhardt, Jannis Brugger, Nicolas Wagner, Zahra Ahmadi, Kristian Kersting and Stefan Kramer
• Abstract要約: 本稿では,畳み込みニューラルネットワーク(CNN)を用いて抽出可能な論理則である一階畳み込み規則について紹介する。 提案手法は,ローカルサーチを用いたバイナリニューラルネットワークからのルール抽出に基づいている。 実験の結果,提案手法はニューラルネットワークの機能をモデル化できると同時に,解釈可能な論理ルールを生成できることがわかった。
• 参考スコア（独自算出の注目度）: 16.956140135868733
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most deep neural networks are considered to be black boxes, meaning their output is hard to interpret. In contrast, logical expressions are considered to be more comprehensible since they use symbols that are semantically close to natural language instead of distributed representations. However, for high-dimensional input data such as images, the individual symbols, i.e. pixels, are not easily interpretable. We introduce the concept of first-order convolutional rules, which are logical rules that can be extracted using a convolutional neural network (CNN), and whose complexity depends on the size of the convolutional filter and not on the dimensionality of the input. Our approach is based on rule extraction from binary neural networks with stochastic local search. We show how to extract rules that are not necessarily short, but characteristic of the input, and easy to visualize. Our experiments show that the proposed approach is able to model the functionality of the neural network while at the same time producing interpretable logical rules.
• Abstract（参考訳）: ほとんどのディープニューラルネットワークはブラックボックスであると考えられており、その出力は解釈が難しい。 対照的に、論理表現は、分散表現の代わりに自然言語に意味的に近い記号を使用するため、より理解しやすいと考えられている。 しかし、画像などの高次元入力データに対して、個々のシンボル、すなわち、 ピクセルは簡単には解釈できない。 本稿では,畳み込みニューラルネットワーク(cnn)を用いて抽出可能な論理規則であり,その複雑さは畳み込みフィルタのサイズに依存するが,入力の次元性には依存しない一階畳み込みルールの概念を導入する。 本手法は,確率的局所探索を用いたバイナリニューラルネットワークからの規則抽出に基づいている。 我々は、必ずしも短いものではなく、入力の特徴であり、可視化が容易なルールの抽出方法を示す。 実験の結果,提案手法はニューラルネットワークの機能をモデル化できると同時に,解釈可能な論理ルールを生成できることがわかった。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• NN2Rules: Extracting Rule List from Neural Networks [0.913755431537592]
  NN2Rulesはルール抽出の分解的アプローチであり、トレーニングされたニューラルネットワークモデルのパラメータから一連の決定ルールを抽出する。 抽出した決定ルールは、ニューラルネットワークが提示する任意の入力に対して、同じ予測値を持ち、したがって精度が同じであることを示す。
  論文  参考訳（メタデータ） (2022-07-04T09:19:47Z)
• Concept Embeddings for Fuzzy Logic Verification of Deep Neural Networks in Perception Tasks [1.2246649738388387]
  我々は、訓練された畳み込みニューラルネットワーク(CNN)が特定の記号的背景知識を尊重するかどうかを検証するための、単純で効果的なアプローチを提案する。 知識はファジィ述語論理則から成り立つ。 このアプローチはファジィ性と概念出力の校正の恩恵を受けていることを示す。
  論文  参考訳（メタデータ） (2022-01-03T10:35:47Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Deep Networks as Logical Circuits: Generalization and Interpretation [10.223907995092835]
  本稿では、Deep Neural Networks (DNN) の離散分類マップを中間(True/False)分類器の論理的(AND/OR)組合せに階層的に分解する。 学習された内部的論理的計算は、平易な英語でDNN記述を許容する意味論的意味のあるカテゴリに対応していることを示す。
  論文  参考訳（メタデータ） (2020-03-25T20:39:53Z)
• Layerwise Knowledge Extraction from Deep Convolutional Networks [0.9137554315375922]
  本稿では,M-of-Nルールを用いた階層的知識抽出手法を提案する。 このアプローチは、最適な複雑性エラートレードオフに近いルールを生成する。 また、畳み込みニューラルネットワークとオートエンコーダのソフトマックス層は、ルール抽出によって非常に説明可能であることも見出した。
  論文  参考訳（メタデータ） (2020-03-19T19:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。