論文の概要: Quantifying degeneracy in singular models via the learning coefficient
- arxiv url: http://arxiv.org/abs/2308.12108v1
- Date: Wed, 23 Aug 2023 12:55:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 14:19:18.680443
- Title: Quantifying degeneracy in singular models via the learning coefficient
- Title(参考訳): 学習係数による特異モデルにおける縮退の定量化
- Authors: Edmund Lau, Daniel Murfet, Susan Wei
- Abstract要約: 単数学習理論で導入された学習係数として知られる量は、ディープニューラルネットワークの縮退度を正確に定量化する方法を示す。
本稿では,Langevin ダイナミクスを用いた学習係数の局所化版をスケーラブルに近似する手法を提案する。
- 参考スコア(独自算出の注目度): 2.8544822698499255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNN) are singular statistical models which exhibit
complex degeneracies. In this work, we illustrate how a quantity known as the
\emph{learning coefficient} introduced in singular learning theory quantifies
precisely the degree of degeneracy in deep neural networks. Importantly, we
will demonstrate that degeneracy in DNN cannot be accounted for by simply
counting the number of "flat" directions. We propose a computationally scalable
approximation of a localized version of the learning coefficient using
stochastic gradient Langevin dynamics. To validate our approach, we demonstrate
its accuracy in low-dimensional models with known theoretical values.
Importantly, the local learning coefficient can correctly recover the ordering
of degeneracy between various parameter regions of interest. An experiment on
MNIST shows the local learning coefficient can reveal the inductive bias of
stochastic opitmizers for more or less degenerate critical points.
- Abstract(参考訳): ディープニューラルネットワーク(dnn)は、複雑な縮退を示す特異統計モデルである。
本稿では,特異学習理論に導入された「emph{learning coefficient}」と呼ばれる量が,ディープニューラルネットワークにおける縮退度を正確に定量化する方法について述べる。
重要なことは、DNNの縮退は単に「平坦な」方向の数を数えることによって説明できないことを示す。
確率勾配ランゲヴィンダイナミクスを用いた学習係数の局所化版を計算にスケーラブルに近似する手法を提案する。
提案手法の有効性を検証するため,理論値の既知の低次元モデルにおいて,その精度を示す。
重要なことに、局所学習係数は、関心のある様々なパラメータ領域間の縮退順序を正しく回復することができる。
MNISTの実験では、局所学習係数は、多かれ少なかれ退化臨界点に対する確率的オピトマイザの帰納バイアスを明らかにすることができる。
関連論文リスト
- The twin peaks of learning neural networks [3.382017614888546]
近年の研究では、ニューラルネットワークの一般化誤差に対する二重発光現象の存在が示されている。
この現象とニューラルネットワークで表される関数の複雑さと感度の増大との関係について検討する。
論文 参考訳(メタデータ) (2024-01-23T10:09:14Z) - Learning Likelihood Ratios with Neural Network Classifiers [0.12277343096128711]
確率比の近似は、ニューラルネットワークベースの分類器の巧妙なパラメトリゼーションを用いて計算することができる。
本稿では、いくつかの共通損失関数の性能と分類器出力のパラメトリゼーションを詳述した一連の実証研究について述べる。
論文 参考訳(メタデータ) (2023-05-17T18:11:38Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Learning Invariant Weights in Neural Networks [16.127299898156203]
機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。
本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
論文 参考訳(メタデータ) (2022-02-25T00:17:09Z) - Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:42:44Z) - Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。
これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
論文 参考訳(メタデータ) (2021-08-06T12:59:12Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。