論文の概要: Residual networks classify inputs based on their neural transient dynamics

• arxiv url: http://arxiv.org/abs/2101.03009v1
• Date: Fri, 8 Jan 2021 13:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 05:06:47.320575
• Title: Residual networks classify inputs based on their neural transient dynamics
• Title（参考訳）: 残差ネットワークは、その神経過渡力学に基づく入力を分類する
• Authors: Fereshteh Lagzi
• Abstract要約: 我々は各入力次元に対応する残差間の協調と競合のダイナミクスがあることを解析的に示す。 残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we analyze the input-output behavior of residual networks from a dynamical system point of view by disentangling the residual dynamics from the output activities before the classification stage. For a network with simple skip connections between every successive layer, and for logistic activation function, and shared weights between layers, we show analytically that there is a cooperation and competition dynamics between residuals corresponding to each input dimension. Interpreting these kind of networks as nonlinear filters, the steady state value of the residuals in the case of attractor networks are indicative of the common features between different input dimensions that the network has observed during training, and has encoded in those components. In cases where residuals do not converge to an attractor state, their internal dynamics are separable for each input class, and the network can reliably approximate the output. We bring analytical and empirical evidence that residual networks classify inputs based on the integration of the transient dynamics of the residuals, and will show how the network responds to input perturbations. We compare the network dynamics for a ResNet and a Multi-Layer Perceptron and show that the internal dynamics, and the noise evolution are fundamentally different in these networks, and ResNets are more robust to noisy inputs. Based on these findings, we also develop a new method to adjust the depth for residual networks during training. As it turns out, after pruning the depth of a ResNet using this algorithm,the network is still capable of classifying inputs with a high accuracy.
• Abstract（参考訳）: 本研究では,残余ネットワークの入力・出力挙動を動的システムの観点から解析し,残余ダイナミクスを分類段階前に出力アクティビティから切り離すことにより解析する。 各層間の簡単なスキップ接続とロジスティック活性化関数、および層間の共有重みを持つネットワークに対して、各入力次元に対応する残差間の協調と競合ダイナミクスが存在することを解析的に示す。 これらのネットワークを非線形フィルタとして解釈すると、アトラクターネットワークの場合の残差の定常状態値は、トレーニング中にネットワークが観察した異なる入力次元間の共通特徴を示し、それらのコンポーネントに符号化されている。 残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。 我々は、残差ネットワークが残差の過渡的ダイナミクスの統合に基づいて入力を分類する分析的および実証的な証拠をもたらし、入力の摂動に対してネットワークがどのように反応するかを示す。 ResNetとMulti-Layer Perceptronのネットワークダイナミクスを比較し、これらのネットワークでは内部力学とノイズの進化が根本的に異なり、ResNetはノイズの多い入力に対してより堅牢であることを示す。 これらの結果に基づき,訓練中の残留ネットワークの深さを調整できる新しい手法を開発した。 その結果、このアルゴリズムを用いてResNetの深さを解析した後、ネットワークは高い精度で入力を分類できることがわかった。

関連論文リスト

• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Stimulative Training of Residual Networks: A Social Psychology Perspective of Loafing [86.69698062642055]
  残余のネットワークは大きな成功を収め、今日のディープモデルでは欠かせないものになっている。 我々は,新たな社会的心理学的視点から,残余ネットワークのトレーニングプロセスを再検討することを目的としている。 残余ネットワークの性能を高めるための新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-09T03:15:51Z)
• Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems [9.382423715831687]
  本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。 我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
  論文  参考訳（メタデータ） (2022-09-22T10:32:08Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
  我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。 ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。 さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
  論文  参考訳（メタデータ） (2021-06-08T10:07:23Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。