論文の概要: Neural Path Features and Neural Path Kernel : Understanding the role of
gates in deep learning
- arxiv url: http://arxiv.org/abs/2006.10529v2
- Date: Sat, 12 Jun 2021 17:42:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 12:46:30.577641
- Title: Neural Path Features and Neural Path Kernel : Understanding the role of
gates in deep learning
- Title（参考訳）: 神経経路の特徴と神経経路カーネル : 深層学習におけるゲートの役割を理解する
- Authors: Chandrashekar Lakshminarayanan and Amit Vikram Singh
- Abstract要約: 本稿では,ディープラーニングにおけるアクティブサブネットワークの役割を解析的に特徴付ける。
入力のゲートのオン/オフ状態を新しい「神経経路特徴」(NPF)にエンコードする。
ネットワークの出力はNPFとNPVの内積であることを示す。
- 参考スコア（独自算出の注目度）: 3.6954802719347426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rectified linear unit (ReLU) activations can also be thought of as 'gates',
which, either pass or stop their pre-activation input when they are 'on' (when
the pre-activation input is positive) or 'off' (when the pre-activation input
is negative) respectively. A deep neural network (DNN) with ReLU activations
has many gates, and the on/off status of each gate changes across input
examples as well as network weights. For a given input example, only a subset
of gates are 'active', i.e., on, and the sub-network of weights connected to
these active gates is responsible for producing the output. At randomised
initialisation, the active sub-network corresponding to a given input example
is random. During training, as the weights are learnt, the active sub-networks
are also learnt, and potentially hold very valuable information. In this paper,
we analytically characterise the role of active sub-networks in deep learning.
To this end, we encode the on/off state of the gates of a given input in a
novel 'neural path feature' (NPF), and the weights of the DNN are encoded in a
novel 'neural path value' (NPV). Further, we show that the output of network is
indeed the inner product of NPF and NPV. The main result of the paper shows
that the 'neural path kernel' associated with the NPF is a fundamental quantity
that characterises the information stored in the gates of a DNN. We show via
experiments (on MNIST and CIFAR-10) that in standard DNNs with ReLU activations
NPFs are learnt during training and such learning is key for generalisation.
Furthermore, NPFs and NPVs can be learnt in two separate networks and such
learning also generalises well in experiments.
- Abstract（参考訳）: 整流線形単位 (relu) の活性化は、それぞれ「オン」(プレアクティベーション入力が正の場合)または「オフ」(プレアクティベーション入力が負の場合)であるときに、そのプレアクティベーション入力を通過または停止する「ゲート」と考えることもできる。
ReLUアクティベーションを備えたディープニューラルネットワーク(DNN)には多くのゲートがあり、各ゲートのオン/オフ状態は入力例とネットワーク重みによって変化する。
与えられた入力の例では、ゲートのサブセットのみが「アクティブ」であり、例えば、これらのアクティブゲートに接続された重みのサブネットワークが出力を発生させる。
ランダム化初期化では、与えられた入力例に対応するアクティブサブネットワークがランダムとなる。
トレーニング中、ウェイトが学習されると、アクティブなサブネットワークも学習され、非常に貴重な情報を保持する可能性がある。
本稿では,ディープラーニングにおけるアクティブサブネットワークの役割を解析的に特徴付ける。
この目的のために、与えられた入力のゲートのオン/オフ状態を新しい「神経経路特徴」(NPF)に符号化し、DNNの重みを新しい「神経経路値」(NPV)に符号化する。
さらに,ネットワークの出力はNPFとNPVの内部積であることを示す。
本研究の主な成果は、NPFに関連する「神経経路カーネル」が、DNNのゲートに格納されている情報を特徴付ける基本量であることを示している。
我々は、ReLUアクティベーションを持つ標準DNNにおいて、NPFは訓練中に学習され、そのような学習が一般化の鍵となることを示す(MNISTとCIFAR-10)。
さらに、NPFとNPVは2つの異なるネットワークで学習することができ、そのような学習も実験でうまく一般化される。
関連論文リスト
- Network Inversion of Binarised Neural Nets [3.5571131514746837]
ニューラルネットワークの出力マッピングに対する入力のブラックボックスの性質を解明する上で、ネットワークの反転は重要な役割を担っている。
本稿では,ネットワークの構造をキャプチャするCNF式に符号化することで,訓練されたBNNを逆転させる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T09:39:54Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - How and what to learn:The modes of machine learning [7.085027463060304]
本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
論文 参考訳（メタデータ） (2022-02-28T14:39:06Z) - Disentangling deep neural networks with rectified linear units using
duality [4.683806391173103]
線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。
我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-06T16:51:59Z) - Credit Assignment Through Broadcasting a Global Error Vector [4.683806391173103]
バックプロパゲーション(BP)は、ディープニューラルネットワーク(DNN)をトレーニングするために、詳細なユニット固有のフィードバックを使用する。
そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。
論文 参考訳（メタデータ） (2021-06-08T04:08:46Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations [143.3053365553897]
本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。
忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
論文 参考訳（メタデータ） (2020-03-05T23:17:35Z) - Refined Gate: A Simple and Effective Gating Mechanism for Recurrent
Units [68.30422112784355]
本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。
提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。
LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
論文 参考訳（メタデータ） (2020-02-26T07:51:38Z) - Deep Gated Networks: A framework to understand training and
generalisation in deep learning [3.6954802719347426]
我々は、ReLUアクティベーションを伴うDNNに関する洞察を得るために、ディープゲートネットワーク(DGN)をフレームワークとして利用する。
私たちの理論は、2つの疑問に光を当てている。すなわち、ある点まで深度を増すことがトレーニングの助けになる理由と、ある点を超えて深度を増すことがトレーニングを損なう理由である。
論文 参考訳（メタデータ） (2020-02-10T18:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。