論文の概要: Disentangling deep neural networks with rectified linear units using duality

• arxiv url: http://arxiv.org/abs/2110.03403v1
• Date: Wed, 6 Oct 2021 16:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 13:42:00.662066
• Title: Disentangling deep neural networks with rectified linear units using duality
• Title（参考訳）: 双対性を用いた線形整流ユニットによる深部ニューラルネットワークの遠方化
• Authors: Chandrashekar Lakshminarayanan and Amit Vikram Singh
• Abstract要約: 線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。 我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
• 参考スコア（独自算出の注目度）: 4.683806391173103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their success deep neural networks (DNNs) are still largely considered as black boxes. The main issue is that the linear and non-linear operations are entangled in every layer, making it hard to interpret the hidden layer outputs. In this paper, we look at DNNs with rectified linear units (ReLUs), and focus on the gating property (`on/off' states) of the ReLUs. We extend the recently developed dual view in which the computation is broken path-wise to show that learning in the gates is more crucial, and learning the weights given the gates is characterised analytically via the so called neural path kernel (NPK) which depends on inputs and gates. In this paper, we present novel results to show that convolution with global pooling and skip connection provide respectively rotational invariance and ensemble structure to the NPK. To address `black box'-ness, we propose a novel interpretable counterpart of DNNs with ReLUs namely deep linearly gated networks (DLGN): the pre-activations to the gates are generated by a deep linear network, and the gates are then applied as external masks to learn the weights in a different network. The DLGN is not an alternative architecture per se, but a disentanglement and an interpretable re-arrangement of the computations in a DNN with ReLUs. The DLGN disentangles the computations into two `mathematically' interpretable linearities (i) the `primal' linearity between the input and the pre-activations in the gating network and (ii) the `dual' linearity in the path space in the weights network characterised by the NPK. We compare the performance of DNN, DGN and DLGN on CIFAR-10 and CIFAR-100 to show that, the DLGN recovers more than $83.5\%$ of the performance of state-of-the-art DNNs. This brings us to an interesting question: `Is DLGN a universal spectral approximator?'
• Abstract（参考訳）: 彼らの成功にもかかわらず、ディープニューラルネットワーク(DNN)は依然としてブラックボックスと見なされている。 主な問題は、線形および非線形操作がすべての層に絡み合っており、隠された層出力の解釈が難しいことである。 本稿では,修正線形単位(ReLU)を持つDNNを考察し,ReLUのゲーティング特性(on/off状態)に着目した。 本稿では,近年開発された2つの視点を拡張し,ゲート内の学習がより重要であることを示すために,入力とゲートに依存するいわゆるニューラルパスカーネル(npk)を用いて,ゲートに与えられた重みを解析的に学習する。 本稿では,グローバルプールとスキップ接続との畳み込みがNPKにそれぞれ回転不変性およびアンサンブル構造をもたらすことを示す新しい結果を示す。 ブラックボックス」ネスに対処するため,ReLUs(Deep linearly gated Network, DLGN)を用いた新しいDNNの解釈可能な手法を提案し, ゲートへの事前アクティベーションはディープリニアネットワークによって生成され, ゲートは外部マスクとして適用され, 異なるネットワークで重みを学習する。 DLGNは、それ自体が代替アーキテクチャではなく、ReLUを持つDNN内の計算の切り離しと解釈可能な再配列である。 DLGNは計算を2つの「数学的」解釈可能な線形性に分解する (i)ゲーティングネットワークにおける入力と事前活性化との間の「一次」線形性と (2)NPKによって特徴づけられる重み付けネットワークにおける経路空間の「双対」線型性。 CIFAR-10およびCIFAR-100におけるDNN, DGN, DLGNの性能を比較して, DLGNは最先端DNNの性能の83.5\%以上を回復することを示した。 これは「DLGNは普遍スペクトル近似器か?」という興味深い疑問をもたらす。

関連論文リスト

• Forward Learning of Graph Neural Networks [17.79590285482424]
  バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。 本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
  論文  参考訳（メタデータ） (2024-03-16T19:40:35Z)
• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Deep Networks Always Grok and Here is Why [15.327649172531606]
  グローキング(英: Grokking)または遅延一般化(英: delay generalization)とは、ディープニューラルネットワーク(DNN)における一般化が、ほぼゼロのトレーニングエラーを達成してから長く経過する現象である。 我々は、グルーキングが実際ずっと広く、幅広い実践的な設定で実現されていることを実証した。
  論文  参考訳（メタデータ） (2024-02-23T18:59:31Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Explicitising The Implicit Intrepretability of Deep Neural Networks Via Duality [5.672223170618133]
  Lakshminarayanan氏とSingh氏の最近の研究は、修正線形ユニット(ReLU)を備えた完全連結ディープニューラルネットワーク(DNN)のための二重ビューを提供する。
  論文  参考訳（メタデータ） (2022-03-01T03:08:21Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
  グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。 本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。 この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。 本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
  論文  参考訳（メタデータ） (2020-10-27T19:48:56Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Deep Gated Networks: A framework to understand training and generalisation in deep learning [3.6954802719347426]
  我々は、ReLUアクティベーションを伴うDNNに関する洞察を得るために、ディープゲートネットワーク(DGN)をフレームワークとして利用する。 私たちの理論は、2つの疑問に光を当てている。すなわち、ある点まで深度を増すことがトレーニングの助けになる理由と、ある点を超えて深度を増すことがトレーニングを損なう理由である。
  論文  参考訳（メタデータ） (2020-02-10T18:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。