論文の概要: Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification

• arxiv url: http://arxiv.org/abs/2011.04041v1
• Date: Sun, 8 Nov 2020 18:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 08:02:09.314802
• Title: Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification
• Title（参考訳）: Deep ReLU Networksのブラックボックスを解き放つ:解釈可能性、診断、単純化
• Authors: Agus Sudjianto, William Knauth, Rahul Singh, Zebin Yang, Aijun Zhang
• Abstract要約: ディープニューラルネットワーク(DNN)は、予測力の強い複雑なパターンを学習することで大きな成功を収めている。 彼らはしばしば、十分なレベルの透明性と解釈可能性のない「ブラックボックス」モデルと見なされる。 本稿では,深部ReLUネットワークのブラックボックスを局所線形表現により解き放つことを目的とする。
• 参考スコア（独自算出の注目度）: 9.166160560427919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deep neural networks (DNNs) have achieved great success in learning complex patterns with strong predictive power, but they are often thought of as "black box" models without a sufficient level of transparency and interpretability. It is important to demystify the DNNs with rigorous mathematics and practical tools, especially when they are used for mission-critical applications. This paper aims to unwrap the black box of deep ReLU networks through local linear representation, which utilizes the activation pattern and disentangles the complex network into an equivalent set of local linear models (LLMs). We develop a convenient LLM-based toolkit for interpretability, diagnostics, and simplification of a pre-trained deep ReLU network. We propose the local linear profile plot and other visualization methods for interpretation and diagnostics, and an effective merging strategy for network simplification. The proposed methods are demonstrated by simulation examples, benchmark datasets, and a real case study in home lending credit risk assessment.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、強力な予測力を持つ複雑なパターンを学習することに成功したが、透明性と解釈可能性のレベルを十分に持たない「ブラックボックス」モデルと見なされることが多い。 DNNを厳密な数学と実践的なツールで、特にミッションクリティカルな用途に使用する場合には、デミスティフィケーションすることが重要である。 本稿では, 局所線形表現を用いて深部ReLUネットワークのブラックボックスを解き放つことを目的として, アクティベーションパターンを利用して, 複雑なネットワークを等価な局所線形モデル(LLM)に分解する。 我々は,事前学習した深部ReLUネットワークの解釈可能性,診断,簡易化のためのLCMベースの便利なツールキットを開発した。 本稿では,局所的な線形プロファイルプロットと解釈と診断のための可視化手法,およびネットワーク単純化のための効果的なマージ戦略を提案する。 提案手法はシミュレーション例,ベンチマークデータセット,住宅ローン信用リスク評価における実ケーススタディによって実証された。

関連論文リスト

• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [67.25782152459851]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Building a Graph-based Deep Learning network model from captured traffic traces [4.671648049111933]
  技術ネットワークモデルの現状は離散事象シミュレーション(DES)に基づいているか依存している DESは非常に正確であり、計算コストも高く、並列化も困難であり、高性能ネットワークをシミュレートするには実用的ではない。 我々は,実際のネットワークシナリオの複雑さをより正確に捉えるために,グラフニューラルネットワーク(GNN)ベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-18T11:16:32Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Lipschitz Bound Analysis of Neural Networks [0.0]
  リプシッツ境界推定は、ディープニューラルネットワークを正則化し、敵の攻撃に対して堅牢にする効果的な方法である。 本稿では、畳み込みニューラルネットワーク(CNN)のための非自明なリプシッツ境界証明書を得る際の大きなギャップについて述べる。 また,畳み込みニューラルネットワーク(CNN)を完全連結ネットワークに変換するために,畳み込み層やToeplitz行列の展開も可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:40:22Z)
• A Lightweight, Efficient and Explainable-by-Design Convolutional Neural Network for Internet Traffic Classification [9.365794791156972]
  本稿では、インターネットトラフィック分類のための新しい軽量・効率的・eXplainable-by-design畳み込みニューラルネットワーク(LEXNet)を提案する。 LEXNetは(軽量で効率の良い目的のために)新しい残留ブロックと(説明可能性のために)プロトタイプ層に依存している。 商用グレードのデータセットに基づいて、LEXNetは最先端のニューラルネットワークと同じ精度を維持することに成功した。
  論文  参考訳（メタデータ） (2022-02-11T10:21:34Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。