論文の概要: Deep Networks as Logical Circuits: Generalization and Interpretation
- arxiv url: http://arxiv.org/abs/2003.11619v2
- Date: Fri, 26 Jun 2020 15:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:30:57.013160
- Title: Deep Networks as Logical Circuits: Generalization and Interpretation
- Title（参考訳）: 論理回路としてのディープネットワーク:一般化と解釈
- Authors: Christopher Snyder, Sriram Vishwanath
- Abstract要約: 本稿では、Deep Neural Networks (DNN) の離散分類マップを中間(True/False)分類器の論理的(AND/OR)組合せに階層的に分解する。
学習された内部的論理的計算は、平易な英語でDNN記述を許容する意味論的意味のあるカテゴリに対応していることを示す。
- 参考スコア（独自算出の注目度）: 10.223907995092835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Not only are Deep Neural Networks (DNNs) black box models, but also we
frequently conceptualize them as such. We lack good interpretations of the
mechanisms linking inputs to outputs. Therefore, we find it difficult to
analyze in human-meaningful terms (1) what the network learned and (2) whether
the network learned. We present a hierarchical decomposition of the DNN
discrete classification map into logical (AND/OR) combinations of intermediate
(True/False) classifiers of the input. Those classifiers that can not be
further decomposed, called atoms, are (interpretable) linear classifiers. Taken
together, we obtain a logical circuit with linear classifier inputs that
computes the same label as the DNN. This circuit does not structurally resemble
the network architecture, and it may require many fewer parameters, depending
on the configuration of weights. In these cases, we obtain simultaneously an
interpretation and generalization bound (for the original DNN), connecting two
fronts which have historically been investigated separately. Unlike compression
techniques, our representation is. We motivate the utility of this perspective
by studying DNNs in simple, controlled settings, where we obtain superior
generalization bounds despite using only combinatorial information (e.g. no
margin information). We demonstrate how to "open the black box" on the MNIST
dataset. We show that the learned, internal, logical computations correspond to
semantically meaningful (unlabeled) categories that allow DNN descriptions in
plain English. We improve the generalization of an already trained network by
interpreting, diagnosing, and replacing components the logical circuit that is
the DNN.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)のブラックボックスモデルだけでなく、私たちはそれを概念化することが多い。
入力と出力をリンクするメカニズムのよい解釈が欠けている。
したがって,(1) ネットワークが何を学習したか,(2) ネットワークが学習したか否かを解析することは困難である。
本稿では、DNN離散分類マップを中間(True/False)分類器の論理的(AND/OR)組合せに階層的に分解する。
原子と呼ばれるさらに分解できない分類器は(解釈可能な)線形分類器である。
本研究では,dnnと同じラベルを計算した線形分類器入力を持つ論理回路を得る。
この回路はネットワークアーキテクチャに構造的に似ていないため、重みの構成によってはパラメータを少なくすることができる。
これらの場合、歴史的に研究されてきた2つのフロントを接続する解釈と一般化境界(元のDNNの場合)を同時に取得する。
圧縮技術とは異なり、我々の表現はそうである。
我々はDNNをシンプルかつ制御された設定で研究し、組合せ情報のみを使用しながら優れた一般化境界を得る(例えば、マージン情報なし)ことで、この視点の有用性を動機付けている。
MNISTデータセット上で"ブラックボックスを開く"方法を実証する。
学習された内部論理計算は、意味論的意味のある(ラベルなし)カテゴリーに対応し、平易な英語でのDNN記述を可能にする。
我々は、DNNである論理回路のコンポーネントの解釈、診断、置換により、既に訓練済みのネットワークの一般化を改善する。
関連論文リスト
- Logic interpretations of ANN partition cells [0.0]
フィードフォワード人工ニューラルネットワーク(ANN)を用いた二元分類問題の検討
ANNをReLU層と複数の線形層(畳み込み、サマリプール、または完全に接続された)で構成する。
単純なANNと論理の橋渡しを行い、その結果、強力なツールセットの論理を用いてANNのセマンティクスを分析し、操作することができる。
論文 参考訳（メタデータ） (2024-08-26T14:43:43Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳（メタデータ） (2021-12-15T20:15:01Z) - Disentangling deep neural networks with rectified linear units using
duality [4.683806391173103]
線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。
我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-06T16:51:59Z) - Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。
我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。
我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
論文 参考訳（メタデータ） (2021-10-06T13:05:45Z) - Rule Extraction from Binary Neural Networks with Convolutional Rules for
Model Validation [16.956140135868733]
本稿では,畳み込みニューラルネットワーク(CNN)を用いて抽出可能な論理則である一階畳み込み規則について紹介する。
提案手法は,ローカルサーチを用いたバイナリニューラルネットワークからのルール抽出に基づいている。
実験の結果,提案手法はニューラルネットワークの機能をモデル化できると同時に,解釈可能な論理ルールを生成できることがわかった。
論文 参考訳（メタデータ） (2020-12-15T17:55:53Z) - A Temporal Neural Network Architecture for Online Learning [0.6091702876917281]
時間的ニューラルネットワーク(TNN)は、相対スパイク時間として符号化された情報を通信し、処理する。
TNNアーキテクチャを提案し、概念実証として、オンライン教師付き分類のより大きな文脈でTNNの動作を示す。
論文 参考訳（メタデータ） (2020-11-27T17:15:29Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。