論文の概要: Efficient Decompositional Rule Extraction for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.12628v1
• Date: Wed, 24 Nov 2021 16:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 14:41:28.059435
• Title: Efficient Decompositional Rule Extraction for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの効率的な分解規則抽出
• Authors: Mateo Espinosa Zarlenga, Zohreh Shams, Mateja Jamnik
• Abstract要約: ECLAIREは、大規模なDNNアーキテクチャと大規模なトレーニングデータセットの両方にスケール可能な、新しい時間ルール抽出アルゴリズムである。 ECLAIREは、現在の最先端手法よりも正確で理解しやすいルールセットを一貫して抽出することを示す。
• 参考スコア（独自算出の注目度）: 5.69361786082969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been significant work on increasing both interpretability and debuggability of a Deep Neural Network (DNN) by extracting a rule-based model that approximates its decision boundary. Nevertheless, current DNN rule extraction methods that consider a DNN's latent space when extracting rules, known as decompositional algorithms, are either restricted to single-layer DNNs or intractable as the size of the DNN or data grows. In this paper, we address these limitations by introducing ECLAIRE, a novel polynomial-time rule extraction algorithm capable of scaling to both large DNN architectures and large training datasets. We evaluate ECLAIRE on a wide variety of tasks, ranging from breast cancer prognosis to particle detection, and show that it consistently extracts more accurate and comprehensible rule sets than the current state-of-the-art methods while using orders of magnitude less computational resources. We make all of our methods available, including a rule set visualisation interface, through the open-source REMIX library (https://github.com/mateoespinosa/remix).
• Abstract（参考訳）: 近年,Deep Neural Network(DNN)の解釈可能性とデバッグ可能性の両面で,決定境界を近似したルールベースモデルを抽出することにより,大幅な研究が行われている。 それにもかかわらず、DNNの潜在空間を考慮した現在のDNNルール抽出法は、分解アルゴリズムとして知られるルールを抽出する場合は、単層DNNに制限されるか、DNNのサイズが大きくなるか、あるいはデータが増大するにつれて引き出すことができる。 本稿では,大規模なDNNアーキテクチャと大規模トレーニングデータセットの両方にスケール可能な新しい多項式時間ルール抽出アルゴリズムであるECLAIREを導入することで,これらの制約に対処する。 ECLAIREは乳がんの予後から粒子検出まで幅広いタスクで評価され、計算資源の桁数を大幅に減らしながら、現在の最先端手法よりも正確で理解しやすいルールセットを一貫して抽出していることを示す。 私たちはオープンソースのremixライブラリ(https://github.com/mateoespinosa/remix)を通じて、ルールセットの可視化インターフェースを含むすべてのメソッドを利用可能にしています。

関連論文リスト

• Taming Reachability Analysis of DNN-Controlled Systems via Abstraction-Based Training [14.787056022080625]
  本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。 我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。 我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
  論文  参考訳（メタデータ） (2022-11-21T00:11:50Z)
• Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
  そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。 我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。 いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
  論文  参考訳（メタデータ） (2022-06-02T02:59:55Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。 これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。 本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-28T07:53:50Z)
• Consistent Sparse Deep Learning: Theory and Computation [11.24471623055182]
  スパース深層学習ネットワーク(DNN)を学習するための頻繁な方法を提案する。 提案手法は大規模ネットワーク圧縮や高次元非線形変数選択に非常に有効である。
  論文  参考訳（メタデータ） (2021-02-25T23:31:24Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Chance-Constrained Control with Lexicographic Deep Reinforcement Learning [77.34726150561087]
  本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。 有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
  論文  参考訳（メタデータ） (2020-10-19T13:09:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Fractional Deep Neural Network via Constrained Optimization [0.0]
  本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
  論文  参考訳（メタデータ） (2020-04-01T21:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。