論文の概要: Tradeoffs of Diagonal Fisher Information Matrix Estimators
- arxiv url: http://arxiv.org/abs/2402.05379v1
- Date: Thu, 8 Feb 2024 03:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:30:29.735084
- Title: Tradeoffs of Diagonal Fisher Information Matrix Estimators
- Title(参考訳): 斜めフィッシャー情報行列推定器のトレードオフ
- Authors: Alexander Soen and Ke Sun
- Abstract要約: 計算コストが高いことから、実践者はしばしばランダムな推定器を使用し、対角成分のみを評価する。
精度とサンプルの複雑さが関連する分散に依存する2つの推定器について検討する。
分散の境界を導出し、回帰と分類のネットワークでそれらをインスタンス化する。
- 参考スコア(独自算出の注目度): 59.96509121911244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Fisher information matrix characterizes the local geometry in the
parameter space of neural networks. It elucidates insightful theories and
useful tools to understand and optimize neural networks. Given its high
computational cost, practitioners often use random estimators and evaluate only
the diagonal entries. We examine two such estimators, whose accuracy and sample
complexity depend on their associated variances. We derive bounds of the
variances and instantiate them in regression and classification networks. We
navigate trade-offs of both estimators based on analytical and numerical
studies. We find that the variance quantities depend on the non-linearity with
respect to different parameter groups and should not be neglected when
estimating the Fisher information.
- Abstract(参考訳): フィッシャー情報行列は、ニューラルネットワークのパラメータ空間における局所幾何を特徴付ける。
ニューラルネットワークを理解し最適化するための洞察力のある理論と有用なツールを解明する。
計算コストが高いことから、実践者はしばしばランダムな推定器を使い、対角成分のみを評価する。
精度とサンプルの複雑さが関連する分散に依存する2つの推定器について検討する。
分散の境界を導出し、回帰と分類のネットワークでそれらをインスタンス化する。
我々は,解析的および数値的研究に基づいて,両推定器のトレードオフをナビゲートする。
分散量は異なるパラメータ群に対する非線形性に依存しており、フィッシャー情報を推定するときは無視すべきでない。
関連論文リスト
- Invariance Measures for Neural Networks [1.2845309023495566]
本稿では,ニューラルネットワークの内部表現の不変性を定量化する手法を提案する。
これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。
論文 参考訳(メタデータ) (2023-10-26T13:59:39Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳(メタデータ) (2023-07-11T08:30:50Z) - What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。
データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
論文 参考訳(メタデータ) (2023-04-05T17:54:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。
正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。
FIMの2つの等価表現に基づく2つの推定器について検討する。
論文 参考訳(メタデータ) (2021-07-09T04:46:50Z) - Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。
線形化ネットワークを用いてこれらの量の効率的な近似を行う。
本稿では,データセットの要約など,いくつかの問題に適用する。
論文 参考訳(メタデータ) (2021-01-17T10:29:29Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳(メタデータ) (2020-10-10T14:04:44Z) - Statistical Guarantees for Regularized Neural Networks [4.254099382808598]
最小二乗項と正則化器からなる推定器の一般統計保証を開発する。
ニューラルネットワークの正規化推定のための数学的基礎を確立した。
論文 参考訳(メタデータ) (2020-05-30T15:28:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。