論文の概要: The Geometric Occam's Razor Implicit in Deep Learning

• arxiv url: http://arxiv.org/abs/2111.15090v2
• Date: Wed, 1 Dec 2021 04:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 07:08:45.194442
• Title: The Geometric Occam's Razor Implicit in Deep Learning
• Title（参考訳）: 深層学習における幾何学的occamのカミソリ
• Authors: Benoit Dherin, Michael Munn, and David G.T. Barrett
• Abstract要約: 勾配降下で訓練されたニューラルネットワークは、幾何学オッカムのラザーによって暗黙的に正規化されていることを示す。 一次元回帰の場合、幾何学モデルの複雑性は関数の弧長によって簡単に与えられる。 高次元設定では、幾何学モデルの複雑性は函数のディリクレエネルギーに依存する。
• 参考スコア（独自算出の注目度）: 7.056824589733872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In over-parameterized deep neural networks there can be many possible parameter configurations that fit the training data exactly. However, the properties of these interpolating solutions are poorly understood. We argue that over-parameterized neural networks trained with stochastic gradient descent are subject to a Geometric Occam's Razor; that is, these networks are implicitly regularized by the geometric model complexity. For one-dimensional regression, the geometric model complexity is simply given by the arc length of the function. For higher-dimensional settings, the geometric model complexity depends on the Dirichlet energy of the function. We explore the relationship between this Geometric Occam's Razor, the Dirichlet energy and other known forms of implicit regularization. Finally, for ResNets trained on CIFAR-10, we observe that Dirichlet energy measurements are consistent with the action of this implicit Geometric Occam's Razor.
• Abstract（参考訳）: 過パラメータ化されたディープニューラルネットワークでは、トレーニングデータに正確に適合する多くのパラメータ構成が可能である。 しかし、これらの補間解の性質はよく分かっていない。 我々は、確率勾配降下で訓練された過パラメータニューラルネットワークは幾何オッカムのラザーの対象であり、このネットワークは幾何学モデルの複雑さによって暗黙的に正規化されると主張している。 一次元回帰の場合、幾何学モデルの複雑性は関数の弧長によって簡単に与えられる。 高次元設定では、幾何学モデルの複雑性は函数のディリクレエネルギーに依存する。 この幾何学オッカムのラゾール、ディリクレエネルギー、および他の既知の暗黙正則化形式との関係を探求する。 最後に、CIFAR-10で訓練されたResNetに対して、ディリクレエネルギーの測定は、この暗黙の幾何学的オッカムのラザーの作用と一致している。

関連論文リスト

• Decoder ensembling for learned latent geometries [15.484595752241122]
  我々は、関連する予想多様体上の測地線を容易に計算する方法を示す。 このシンプルで信頼性が高く、簡単に使える潜在測地に一歩近づきます。
  論文  参考訳（メタデータ） (2024-08-14T12:35:41Z)
• Transolver: A Fast Transformer Solver for PDEs on General Geometries [66.82060415622871]
  本稿では, 離散化された測地の背後に隠れた本質的な物理状態を学習するTransolverについて述べる。 スライスから符号化された物理認識トークンに注意を向けることで、Transovlerは複雑な物理的相関を効果的に捉えることができる。 Transolverは6つの標準ベンチマークで22%の相対的な利得で一貫した最先端を実現し、大規模産業シミュレーションでも優れている。
  論文  参考訳（メタデータ） (2024-02-04T06:37:38Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning [60.69217130006758]
  空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。 どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。 2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
  論文  参考訳（メタデータ） (2023-05-03T13:45:40Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Differential Geometry in Neural Implicits [0.6198237241838558]
  トライアングルメッシュの離散微分幾何とニューラル暗黙曲面の連続微分幾何を橋渡しするニューラル暗黙の枠組みを導入する。 ニューラルネットワークの微分可能特性と三角形メッシュの離散幾何学を利用して、ニューラルネットワークをニューラルネットワークの暗黙関数のゼロレベル集合として近似する。
  論文  参考訳（メタデータ） (2022-01-23T13:40:45Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Length Learning for Planar Euclidean Curves [0.0]
  この研究は、正弦波データセットによって生成された平面サンプリング曲線の長さを学習することに焦点を当てる。 付加雑音と離散化誤差に対する頑健さを検証した。
  論文  参考訳（メタデータ） (2021-02-03T06:30:03Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Embed Me If You Can: A Geometric Perceptron [14.274582421372308]
  多層超球パーセプトロン(MLHP)の拡張について紹介する。 我々のモデルは3次元テトリス形状の分類においてバニラ多層パーセプトロンよりも優れている。
  論文  参考訳（メタデータ） (2020-06-11T15:25:50Z)
• A Geometric Modeling of Occam's Razor in Deep Learning [8.007631014276896]
  ディープニューラルネットワーク(DNN)は、非常に高次元のパラメータ空間の恩恵を受ける。 彼らの巨大なパラメータの複雑さと実践上の素晴らしいパフォーマンスは、より興味深く、説明できないものです。 本稿では,この現象を研究するための幾何学的フレーバー付き情報理論手法を提案する。
  論文  参考訳（メタデータ） (2019-05-27T07:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。