Fugu-MT 論文翻訳(概要): WeightScale: Interpreting Weight Change in Neural Networks

論文の概要: WeightScale: Interpreting Weight Change in Neural Networks

arxiv url: http://arxiv.org/abs/2107.07005v1
Date: Wed, 7 Jul 2021 21:18:38 GMT
ステータス: 処理完了
システム内更新日: 2021-07-18 13:35:44.601029
Title: WeightScale: Interpreting Weight Change in Neural Networks
Title（参考訳）: WeightScale: ニューラルネットワークの重み変化を解釈する
Authors: Ayush Manish Agrawal, Atharva Tendle, Harshvardhan Sikka, Sahib Singh
Abstract要約: 本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Interpreting the learning dynamics of neural networks can provide useful insights into how networks learn and the development of better training and design approaches. We present an approach to interpret learning in neural networks by measuring relative weight change on a per layer basis and dynamically aggregating emerging trends through combination of dimensionality reduction and clustering which allows us to scale to very deep networks. We use this approach to investigate learning in the context of vision tasks across a variety of state-of-the-art networks and provide insights into the learning behavior of these networks, including how task complexity affects layer-wise learning in deeper layers of networks.
Abstract（参考訳）: ニューラルネットワークの学習ダイナミクスを解釈することは、ネットワークの学習方法とより良いトレーニングと設計アプローチの開発に有用な洞察を与える。本稿では,層単位の相対的重み変化を計測し,次元の縮小と非常に深いネットワークへの拡張を可能にするクラスタリングを組み合わせることで,新たなトレンドを動的に集約することで,ニューラルネットワークにおける学習を解釈する手法を提案する。このアプローチを用いて、さまざまな最先端ネットワークにおける視覚タスクのコンテキストにおける学習を調査し、タスクの複雑さがネットワークのより深い層における階層的学習にどのように影響するかなど、これらのネットワークの学習行動に関する洞察を提供する。

関連論文リスト

From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文参考訳（メタデータ） (2024-09-22T23:19:04Z)
Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
論文参考訳（メタデータ） (2024-04-08T17:33:11Z)
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文参考訳（メタデータ） (2023-05-11T17:19:30Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。ネットワークの学習力学を様々な観点から研究する。
論文参考訳（メタデータ） (2021-10-21T23:49:23Z)
Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文参考訳（メタデータ） (2021-10-06T10:03:32Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文参考訳（メタデータ） (2021-02-13T18:54:49Z)
Investigating Learning in Deep Neural Networks using Layer-Wise Weight Change [0.7829352305480285]
深層畳み込みニューラルネットワーク(CNN)の学習について,学習中の層間の相対的重み変化を測定して検討した。様々なコンピュータビジョン分類タスクにまたがる様々なCNNアーキテクチャにおいて、いくつかの興味深い傾向が現れる。
論文参考訳（メタデータ） (2020-11-13T02:53:41Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。