論文の概要: WeightScale: Interpreting Weight Change in Neural Networks
- arxiv url: http://arxiv.org/abs/2107.07005v1
- Date: Wed, 7 Jul 2021 21:18:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-18 13:35:44.601029
- Title: WeightScale: Interpreting Weight Change in Neural Networks
- Title(参考訳): WeightScale: ニューラルネットワークの重み変化を解釈する
- Authors: Ayush Manish Agrawal, Atharva Tendle, Harshvardhan Sikka, Sahib Singh
- Abstract要約: 本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。
我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpreting the learning dynamics of neural networks can provide useful
insights into how networks learn and the development of better training and
design approaches. We present an approach to interpret learning in neural
networks by measuring relative weight change on a per layer basis and
dynamically aggregating emerging trends through combination of dimensionality
reduction and clustering which allows us to scale to very deep networks. We use
this approach to investigate learning in the context of vision tasks across a
variety of state-of-the-art networks and provide insights into the learning
behavior of these networks, including how task complexity affects layer-wise
learning in deeper layers of networks.
- Abstract(参考訳): ニューラルネットワークの学習ダイナミクスを解釈することは、ネットワークの学習方法とより良いトレーニングと設計アプローチの開発に有用な洞察を与える。
本稿では,層単位の相対的重み変化を計測し,次元の縮小と非常に深いネットワークへの拡張を可能にするクラスタリングを組み合わせることで,新たなトレンドを動的に集約することで,ニューラルネットワークにおける学習を解釈する手法を提案する。
このアプローチを用いて、さまざまな最先端ネットワークにおける視覚タスクのコンテキストにおける学習を調査し、タスクの複雑さがネットワークのより深い層における階層的学習にどのように影響するかなど、これらのネットワークの学習行動に関する洞察を提供する。
関連論文リスト
- Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳(メタデータ) (2023-05-11T17:19:30Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Deep Learning Meets Sparse Regularization: A Signal Processing
Perspective [17.12783792226575]
データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。
このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。
このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
論文 参考訳(メタデータ) (2023-01-23T17:16:21Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳(メタデータ) (2021-10-21T23:49:23Z) - Characterizing Learning Dynamics of Deep Neural Networks via Complex
Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。
ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。
本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文 参考訳(メタデータ) (2021-10-06T10:03:32Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。
いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。
破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文 参考訳(メタデータ) (2021-02-13T18:54:49Z) - Investigating Learning in Deep Neural Networks using Layer-Wise Weight
Change [0.7829352305480285]
深層畳み込みニューラルネットワーク(CNN)の学習について,学習中の層間の相対的重み変化を測定して検討した。
様々なコンピュータビジョン分類タスクにまたがる様々なCNNアーキテクチャにおいて、いくつかの興味深い傾向が現れる。
論文 参考訳(メタデータ) (2020-11-13T02:53:41Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳(メタデータ) (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。