論文の概要: On the Variance of the Fisher Information for Deep Learning

• arxiv url: http://arxiv.org/abs/2107.04205v1
• Date: Fri, 9 Jul 2021 04:46:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:56:38.843412
• Title: On the Variance of the Fisher Information for Deep Learning
• Title（参考訳）: 深層学習における漁業情報のばらつきについて
• Authors: Alexander Soen and Ke Sun
• Abstract要約: Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。 正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。 FIMの2つの等価表現に基づく2つの推定器について検討する。
• 参考スコア（独自算出の注目度）: 79.71410479830222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Fisher information matrix (FIM) has been applied to the realm of deep learning. It is closely related to the loss landscape, the variance of the parameters, second order optimization, and deep learning theory. The exact FIM is either unavailable in closed form or too expensive to compute. In practice, it is almost always estimated based on empirical samples. We investigate two such estimators based on two equivalent representations of the FIM. They are both unbiased and consistent with respect to the underlying "true" FIM. Their estimation quality is characterized by their variance given in closed form. We bound their variances and analyze how the parametric structure of a deep neural network can impact the variance. We discuss the meaning of this variance measure and our bounds in the context of deep learning.
• Abstract（参考訳）: Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。 これは損失の風景、パラメータの分散、二階最適化、ディープラーニング理論と密接に関連している。 正確なFIMはクローズドな形で利用できないか、計算に高すぎるかのいずれかである。 実際には、ほぼ常に経験的なサンプルに基づいて推定される。 FIMの2つの等価表現に基づく2つの推定器について検討する。 これらはどちらも非バイアスであり、根底にある「真の」FIMに関して一貫性がある。 その推定品質は、閉じた形で与えられる分散によって特徴づけられる。 それらの分散を束縛し、ディープニューラルネットワークのパラメトリック構造が分散にどのように影響するかを分析する。 本稿では,この分散尺度の意味と深層学習の文脈における境界について考察する。

関連論文リスト

• Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
  Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。