論文の概要: Quantifying degeneracy in singular models via the learning coefficient

• arxiv url: http://arxiv.org/abs/2308.12108v1
• Date: Wed, 23 Aug 2023 12:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 14:19:18.680443
• Title: Quantifying degeneracy in singular models via the learning coefficient
• Title（参考訳）: 学習係数による特異モデルにおける縮退の定量化
• Authors: Edmund Lau, Daniel Murfet, Susan Wei
• Abstract要約: 単数学習理論で導入された学習係数として知られる量は、ディープニューラルネットワークの縮退度を正確に定量化する方法を示す。 本稿では,Langevin ダイナミクスを用いた学習係数の局所化版をスケーラブルに近似する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.8544822698499255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNN) are singular statistical models which exhibit complex degeneracies. In this work, we illustrate how a quantity known as the \emph{learning coefficient} introduced in singular learning theory quantifies precisely the degree of degeneracy in deep neural networks. Importantly, we will demonstrate that degeneracy in DNN cannot be accounted for by simply counting the number of "flat" directions. We propose a computationally scalable approximation of a localized version of the learning coefficient using stochastic gradient Langevin dynamics. To validate our approach, we demonstrate its accuracy in low-dimensional models with known theoretical values. Importantly, the local learning coefficient can correctly recover the ordering of degeneracy between various parameter regions of interest. An experiment on MNIST shows the local learning coefficient can reveal the inductive bias of stochastic opitmizers for more or less degenerate critical points.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、複雑な縮退を示す特異統計モデルである。 本稿では,特異学習理論に導入された「emph{learning coefficient}」と呼ばれる量が,ディープニューラルネットワークにおける縮退度を正確に定量化する方法について述べる。 重要なことは、DNNの縮退は単に「平坦な」方向の数を数えることによって説明できないことを示す。 確率勾配ランゲヴィンダイナミクスを用いた学習係数の局所化版を計算にスケーラブルに近似する手法を提案する。 提案手法の有効性を検証するため,理論値の既知の低次元モデルにおいて,その精度を示す。 重要なことに、局所学習係数は、関心のある様々なパラメータ領域間の縮退順序を正しく回復することができる。 MNISTの実験では、局所学習係数は、多かれ少なかれ退化臨界点に対する確率的オピトマイザの帰納バイアスを明らかにすることができる。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Semi-Parametric Inducing Point Networks and Neural Processes [15.948270454686197]
  半パラメトリック誘導点ネットワーク(SPIN)は、推論時間におけるトレーニングセットを計算効率よくクエリすることができる。 SPINは、ポイントメソッドにインスパイアされたデータポイント間のクロスアテンションメカニズムを通じて、線形複雑性を実現する。 実験では,SPINはメモリ要件を低減し,様々なメタラーニングタスクの精度を向上し,重要な実用的問題である遺伝子型計算における最先端性能を向上させる。
  論文  参考訳（メタデータ） (2022-05-24T01:42:46Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
  後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。 本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。 我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
  論文  参考訳（メタデータ） (2022-03-01T05:58:28Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。