Fugu-MT 論文翻訳(概要): Investigating Learning in Deep Neural Networks using Layer-Wise Weight Change

論文の概要: Investigating Learning in Deep Neural Networks using Layer-Wise Weight Change

arxiv url: http://arxiv.org/abs/2011.06735v2
Date: Tue, 1 Dec 2020 04:26:29 GMT
ステータス: 処理完了
システム内更新日: 2022-09-26 00:20:25.379571
Title: Investigating Learning in Deep Neural Networks using Layer-Wise Weight Change
Title（参考訳）: 層幅重み変化を用いたディープニューラルネットワークの学習調査
Authors: Ayush Manish Agrawal, Atharva Tendle, Harshvardhan Sikka, Sahib Singh, and Amr Kayid
Abstract要約: 深層畳み込みニューラルネットワーク(CNN)の学習について,学習中の層間の相対的重み変化を測定して検討した。様々なコンピュータビジョン分類タスクにまたがる様々なCNNアーキテクチャにおいて、いくつかの興味深い傾向が現れる。
参考スコア（独自算出の注目度）: 0.7829352305480285
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding the per-layer learning dynamics of deep neural networks is of significant interest as it may provide insights into how neural networks learn and the potential for better training regimens. We investigate learning in Deep Convolutional Neural Networks (CNNs) by measuring the relative weight change of layers while training. Several interesting trends emerge in a variety of CNN architectures across various computer vision classification tasks, including the overall increase in relative weight change of later layers as compared to earlier ones.
Abstract（参考訳）: ディープニューラルネットワークのレイヤ単位の学習ダイナミクスを理解することは、ニューラルネットワークの学習方法と、より優れたトレーニングレジェンスの可能性に関する洞察を提供するため、非常に興味深い。深層畳み込みニューラルネットワーク(CNN)の学習について,学習中の層間の相対的重み変化を測定して検討した。様々なコンピュータビジョン分類タスクにまたがる様々なCNNアーキテクチャに興味深い傾向が出現し、例えば、後のレイヤの相対的な重み変化の全体的増加は、以前のものと比較される。

関連論文リスト

Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。我々は,誤りや誤りを正確に予測し,分析結果を検証した。
論文参考訳（メタデータ） (2024-09-23T17:57:58Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。ネットワークの学習力学を様々な観点から研究する。
論文参考訳（メタデータ） (2021-10-21T23:49:23Z)
Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文参考訳（メタデータ） (2021-10-06T10:03:32Z)
WeightScale: Interpreting Weight Change in Neural Networks [0.0]
本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
論文参考訳（メタデータ） (2021-07-07T21:18:38Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
Mastering high-dimensional dynamics with Hamiltonian neural networks [0.0]
マップ・ビルディング・パースペクティブは、従来のニューラルネットワークよりもハミルトニアン・ニューラル・ネットワークの優位性を解明する。その結果、データ、次元、ニューラルネットワーク学習性能の臨界関係を明らかにした。
論文参考訳（メタデータ） (2020-07-28T21:14:42Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文参考訳（メタデータ） (2020-03-04T17:52:48Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。