論文の概要: The Local Learning Coefficient: A Singularity-Aware Complexity Measure

• arxiv url: http://arxiv.org/abs/2308.12108v2
• Date: Mon, 30 Sep 2024 23:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:56.918679
• Title: The Local Learning Coefficient: A Singularity-Aware Complexity Measure
• Title（参考訳）: 局所学習係数:特異性を考慮した複雑度測定
• Authors: Edmund Lau, Zach Furman, George Wang, Daniel Murfet, Susan Wei,
• Abstract要約: 深層ニューラルネットワーク(DNN)の新たな複雑性尺度として,局所学習係数(LLC)が導入されている。 本稿では,LLCの理論的基盤を探究し,その応用に関する明確な定義と直感的な洞察を提供する。 最終的に、LLCは、ディープラーニングの複雑さとパーシモニーの原則との明らかな矛盾を和らげる重要なツールとして現れます。
• 参考スコア（独自算出の注目度）: 2.1670528702668648
• License:
• Abstract: The Local Learning Coefficient (LLC) is introduced as a novel complexity measure for deep neural networks (DNNs). Recognizing the limitations of traditional complexity measures, the LLC leverages Singular Learning Theory (SLT), which has long recognized the significance of singularities in the loss landscape geometry. This paper provides an extensive exploration of the LLC's theoretical underpinnings, offering both a clear definition and intuitive insights into its application. Moreover, we propose a new scalable estimator for the LLC, which is then effectively applied across diverse architectures including deep linear networks up to 100M parameters, ResNet image models, and transformer language models. Empirical evidence suggests that the LLC provides valuable insights into how training heuristics might influence the effective complexity of DNNs. Ultimately, the LLC emerges as a crucial tool for reconciling the apparent contradiction between deep learning's complexity and the principle of parsimony.
• Abstract（参考訳）: ローカル学習係数(LLC)は、ディープニューラルネットワーク(DNN)の新たな複雑性尺度として導入されている。 従来の複雑性尺度の限界を認識したLLCは、ロスランドスケープ幾何学における特異点の重要性を長年認識してきたSLT(Singular Learning Theory)を活用している。 本稿では,LLCの理論的基盤を探究し,その応用に関する明確な定義と直感的な洞察を提供する。 さらに,100Mパラメータの深い線形ネットワーク,ResNetイメージモデル,トランスフォーマー言語モデルなど,さまざまなアーキテクチャで効果的に適用可能な,LLCのためのスケーラブルな新しい推定器を提案する。 経験的証拠は、LLCが訓練ヒューリスティックスがDNNの効果的な複雑さにどのように影響するかについての貴重な洞察を提供していることを示唆している。 最終的に、LLCは、ディープラーニングの複雑さとパーシモニーの原則との明らかな矛盾を和らげる重要なツールとして現れます。

関連論文リスト

• The twin peaks of learning neural networks [3.382017614888546]
  近年の研究では、ニューラルネットワークの一般化誤差に対する二重発光現象の存在が示されている。 この現象とニューラルネットワークで表される関数の複雑さと感度の増大との関係について検討する。
  論文  参考訳（メタデータ） (2024-01-23T10:09:14Z)
• Learning Likelihood Ratios with Neural Network Classifiers [0.12277343096128711]
  確率比の近似は、ニューラルネットワークベースの分類器の巧妙なパラメトリゼーションを用いて計算することができる。 本稿では、いくつかの共通損失関数の性能と分類器出力のパラメトリゼーションを詳述した一連の実証研究について述べる。
  論文  参考訳（メタデータ） (2023-05-17T18:11:38Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。