論文の概要: The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry

• arxiv url: http://arxiv.org/abs/2006.07814v4
• Date: Mon, 29 Mar 2021 19:08:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 12:40:22.107702
• Title: The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry
• Title（参考訳）: 動力学的等尺性を有する深部ネットワークの漁業情報スペクトル
• Authors: Tomohiro Hayase, Ryo Karakida
• Abstract要約: Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。 完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。 パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
• 参考スコア（独自算出の注目度）: 9.289846887298852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Fisher information matrix (FIM) is fundamental to understanding the trainability of deep neural nets (DNN), since it describes the parameter space's local metric. We investigate the spectral distribution of the conditional FIM, which is the FIM given a single sample, by focusing on fully-connected networks achieving dynamical isometry. Then, while dynamical isometry is known to keep specific backpropagated signals independent of the depth, we find that the parameter space's local metric linearly depends on the depth even under the dynamical isometry. More precisely, we reveal that the conditional FIM's spectrum concentrates around the maximum and the value grows linearly as the depth increases. To examine the spectrum, considering random initialization and the wide limit, we construct an algebraic methodology based on the free probability theory. As a byproduct, we provide an analysis of the solvable spectral distribution in two-hidden-layer cases. Lastly, experimental results verify that the appropriate learning rate for the online training of DNNs is in inverse proportional to depth, which is determined by the conditional FIM's spectrum.
• Abstract（参考訳）: Fisher InformationMatrix(FIM)は、パラメータ空間の局所距離を記述するため、ディープニューラルネット(DNN)のトレーニング可能性を理解するための基本となる。 本研究では, 動的アイソメトリを実現する完全連結ネットワークに着目し, 条件付きFIMのスペクトル分布について検討する。 そして、動的アイソメトリは、特定のバックプロパゲーション信号を深さから独立に保つことが知られているが、パラメータ空間の局所距離は、動的アイソメトリの下でも深さに依存する。 より正確には、条件付きFIMのスペクトルが最大値の周りに集中し、深さが増加するにつれて値が線形に増加することを明らかにする。 ランダム初期化と広い極限を考慮してスペクトルを調べるため、自由確率理論に基づく代数的方法論を構築した。 副産物として, 2層の場合の可解スペクトル分布の解析を行う。 最後に、DNNのオンライントレーニングにおける適切な学習率が、条件付きFIMスペクトルによって決定される深さに逆比例していることを検証する。

関連論文リスト

• Interpretable Measurement of CNN Deep Feature Density using Copula and the Generalized Characteristic Function [1.9797215742507548]
  畳み込みニューラルネットワーク(CNN)の深い特徴の確率密度関数(PDF)を測定するための新しい実証的アプローチを提案する。 意外なことに、主要ブロック後の非負の深いCNN特徴の1次元境界はガウス分布によってよく近似されていない。 我々は、ネットワーク深度が典型的な範囲内で増加するにつれて、深い特徴がますます独立化するのを観察する。
  論文  参考訳（メタデータ） (2024-11-07T21:04:58Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Learning Radio Environments by Differentiable Ray Tracing [56.40113938833999]
  本稿では, 材料特性, 散乱, アンテナパターンの微分パラメトリゼーションによって補う, 勾配式キャリブレーション法を提案する。 提案手法は,MIMO(分散マルチインプットマルチインプット・マルチアウトプット・チャネル・サウンドア)を用いて,合成データと実世界の屋内チャネル計測の両方を用いて検証した。
  論文  参考訳（メタデータ） (2023-11-30T13:50:21Z)
• Neural FIM for learning Fisher Information Metrics from point cloud data [71.07939200676199]
  我々は、ポイントクラウドデータからフィッシャー情報量(FIM)を計算するためのニューラルFIMを提案する。 本稿では,PHATE可視化手法のパラメータの選択と,IPSCリプログラミングとPBMC(免疫細胞)の2つの単一セルデータセットと,おもちゃデータセットの分岐点とクラスタセンターの埋め込みに関する情報を得る能力について述べる。
  論文  参考訳（メタデータ） (2023-06-01T17:36:13Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization [21.64166573203593]
  暗黙の正則化は、ニューラルネットワークを解釈する重要な方法である。 最近の理論は、深い行列分解(DMF)モデルで暗黙の正則化を説明するようになった。
  論文  参考訳（メタデータ） (2022-12-29T02:11:19Z)
• Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit [10.64241024049424]
  深層線形ネットワーク (DLN) は、過度にパラメータ化された学習アーキテクチャの勾配に基づく最適化における暗黙の正規化のためのモデルである。 厳密な解析と数値による行列完成のための幾何幾何学とトレーニングの関連について検討する。 暗黙の正則化は高状態空間体積に対する偏りの結果である。
  論文  参考訳（メタデータ） (2022-10-22T17:03:10Z)
• Deep Sufficient Representation Learning via Mutual Information [2.9832792722677506]
  本稿では,相互情報に基づく十分表現学習(MSRL)手法を提案する。 MSRLは、応答とユーザ選択分布との最大相互情報で十分な表現を学習する。 我々はMSRLの性能を、広範囲な数値実験と実データ解析により評価する。
  論文  参考訳（メタデータ） (2022-07-21T22:13:21Z)
• Implicit Data-Driven Regularization in Deep Neural Networks under SGD [0.0]
  訓練されたディープニューラルネットワーク(DNN)に関与する大きなランダム行列のスペクトル解析 これらのスペクトルは、Marvcenko-Pasturスペクトル(MP)、Marvcenko-Pasturスペクトル(MPB)、Heav tailed spectrum(HT)の3種類に分類される。
  論文  参考訳（メタデータ） (2021-11-26T06:36:16Z)
• On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
  Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。 正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。 FIMの2つの等価表現に基づく2つの推定器について検討する。
  論文  参考訳（メタデータ） (2021-07-09T04:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。