論文の概要: Architecture Disentanglement for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2003.13268v2
• Date: Wed, 24 Mar 2021 03:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:54:35.151924
• Title: Architecture Disentanglement for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのためのアーキテクチャディスタングル
• Authors: Jie Hu, Liujuan Cao, Qixiang Ye, Tong Tong, ShengChuan Zhang, Ke Li, Feiyue Huang, Rongrong Ji, Ling Shao
• Abstract要約: ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
• 参考スコア（独自算出の注目度）: 174.16176919145377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the inner workings of deep neural networks (DNNs) is essential to provide trustworthy artificial intelligence techniques for practical applications. Existing studies typically involve linking semantic concepts to units or layers of DNNs, but fail to explain the inference process. In this paper, we introduce neural architecture disentanglement (NAD) to fill the gap. Specifically, NAD learns to disentangle a pre-trained DNN into sub-architectures according to independent tasks, forming information flows that describe the inference processes. We investigate whether, where, and how the disentanglement occurs through experiments conducted with handcrafted and automatically-searched network architectures, on both object-based and scene-based datasets. Based on the experimental results, we present three new findings that provide fresh insights into the inner logic of DNNs. First, DNNs can be divided into sub-architectures for independent tasks. Second, deeper layers do not always correspond to higher semantics. Third, the connection type in a DNN affects how the information flows across layers, leading to different disentanglement behaviors. With NAD, we further explain why DNNs sometimes give wrong predictions. Experimental results show that misclassified images have a high probability of being assigned to task sub-architectures similar to the correct ones. Code will be available at: https://github.com/hujiecpp/NAD.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の内部動作を理解することは、実用的な応用に信頼できる人工知能技術を提供するために不可欠である。 既存の研究は通常、意味論的概念をDNNの単位や層にリンクするが、推論プロセスの説明に失敗する。 本稿では,このギャップを埋めるために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 具体的には、NADは訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに分解し、推論プロセスを記述する情報フローを形成する。 オブジェクトベースとシーンベースの両方のデータセット上で,手作り・自動探索型ネットワークアーキテクチャを用いて行った実験により,この乱れがどこで,どのように起こるかを検討する。 実験結果から,DNNの内部ロジックに新たな洞察を与える3つの新たな知見が得られた。 まず、DNNは独立したタスクのためのサブアーキテクチャに分割される。 第二に、より深い層は必ずしもより高い意味論に対応しない。 第三に、DNNの接続タイプは、情報が層をまたいでどのように流れるかに影響し、異なる絡み合いの振る舞いをもたらす。 NADでは、なぜDNNが間違った予測を下すのかをさらに説明します。 実験結果から,誤分類画像はタスクサブアーキテクチャに割り当てられる確率が高いことがわかった。 コードは、https://github.com/hujiecpp/NAD.comから入手できる。

関連論文リスト

• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Analysis of functional neural codes of deep learning models: Functional Telescope Hypothesis [2.045460181566931]
  自己組織化マップ(SOM)を用いて、ディープラーニングモデルの意思決定に関連する内部コードを分析する。 解析の結果, 入力層近傍の浅層は圧縮された空間に圧縮され, 出力層近傍の深層は特徴空間を拡大することが示唆された。 また、圧縮された特徴がDNNの脆弱性を敵の摂動に負わせる可能性があることを示す証拠も発見された。
  論文  参考訳（メタデータ） (2022-05-22T23:14:27Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• Topological Measurement of Deep Neural Networks Using Persistent Homology [0.7919213739992464]
  ディープニューラルネットワーク(DNN)の内部表現は解読不能である。 持続的ホモロジー(PH)は、訓練されたDNNの複雑さを調べるために用いられた。
  論文  参考訳（メタデータ） (2021-06-06T03:06:15Z)
• exploRNN: Understanding Recurrent Neural Networks through Visual Exploration [6.006493809079212]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルデータを処理することができる。 本稿では,RNNのための対話型学習可視化である ExploRNN を提案する。 LSTM細胞内のデータフローの詳細な検査を可能にするとともに、粗いレベルでRNNのトレーニングプロセスの概要を提供します。
  論文  参考訳（メタデータ） (2020-12-09T15:06:01Z)
• Examining the causal structures of deep neural networks using information theory [0.0]
  ディープニューラルネットワーク(DNN)は、ノードとデータセット間の相互情報を解析するなど、入力に対する応答のレベルでしばしば検討される。 DNNは因果関係のレベルで調べて、ネットワーク自体のレイヤ内で"何をするのか"を探ることもできる。 本稿では,学習中のDNNの因果構造の変化を定量化し,追跡するための情報理論に基づくメトリクススイートを紹介する。
  論文  参考訳（メタデータ） (2020-10-26T19:53:16Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Neural Anisotropy Directions [63.627760598441796]
  我々は、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルとして、神経異方性方向(NAD)を定義する。 CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-17T08:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。