論文の概要: Why neural networks find simple solutions: the many regularizers of geometric complexity

• arxiv url: http://arxiv.org/abs/2209.13083v1
• Date: Tue, 27 Sep 2022 00:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:48:16.505279
• Title: Why neural networks find simple solutions: the many regularizers of geometric complexity
• Title（参考訳）: ニューラルネットワークが単純な解を見つける理由:幾何複雑性の正規化器
• Authors: Benoit Dherin, Michael Munn, Mihaela C. Rosca, and David G.T. Barrett
• Abstract要約: 我々は、離散ディリクレエネルギーを用いて計算されたモデル関数の変数の尺度である幾何学的複雑性の概念を開発する。 パラメータノルム正則化、スペクトルノルム正則化、平坦性正則化、勾配正則化、雑音正則化など、多くの一般的な訓練が、幾何学的複雑性を制御するために働くことを示す。
• 参考スコア（独自算出の注目度）: 13.729491571993163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many contexts, simpler models are preferable to more complex models and the control of this model complexity is the goal for many methods in machine learning such as regularization, hyperparameter tuning and architecture design. In deep learning, it has been difficult to understand the underlying mechanisms of complexity control, since many traditional measures are not naturally suitable for deep neural networks. Here we develop the notion of geometric complexity, which is a measure of the variability of the model function, computed using a discrete Dirichlet energy. Using a combination of theoretical arguments and empirical results, we show that many common training heuristics such as parameter norm regularization, spectral norm regularization, flatness regularization, implicit gradient regularization, noise regularization and the choice of parameter initialization all act to control geometric complexity, providing a unifying framework in which to characterize the behavior of deep learning models.
• Abstract（参考訳）: 多くの文脈において、より単純なモデルはより複雑なモデルよりも好まれ、このモデルの複雑さの制御は、正規化、ハイパーパラメータチューニング、アーキテクチャ設計といった機械学習における多くの手法の目標である。 ディープラーニングでは、多くの伝統的な尺度がディープニューラルネットワークに自然に適さないため、複雑性制御の基盤となるメカニズムを理解することは困難である。 ここでは、離散ディリクレエネルギーを用いて計算したモデル関数の変動性の尺度である幾何学的複雑性の概念を展開する。 パラメータノルム正則化, スペクトルノルム正則化, 平坦性正則化, 暗勾配正則化, 雑音正則化, パラメータ初期化の選択といった多くの一般的な訓練ヒューリスティックが, 幾何学的複雑性を制御し, 深層学習モデルの振る舞いを特徴付ける統一的な枠組みを提供する。

関連論文リスト

• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
  最適化の観点からは、単純だが空でない一般化を示す。 我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。 数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
  論文  参考訳（メタデータ） (2022-06-09T08:59:46Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Learning normal form autoencoders for data-driven discovery of universal,parameter-dependent governing equations [3.769860395223177]
  複雑系は、自然界において正則である少数の不安定性と分岐を示す。 このようなパラメトリック不安定性は、数学的には普遍的アンフォールディング(un-folding)または正規形式力学によって特徴づけられる。 本稿では,基礎となるパラメトリック依存を捉える座標変換を発見するためのディープラーニングオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-06-09T14:25:18Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。