論文の概要: On the curvature of the loss landscape

• arxiv url: http://arxiv.org/abs/2307.04719v1
• Date: Mon, 10 Jul 2023 17:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 12:12:11.153993
• Title: On the curvature of the loss landscape
• Title（参考訳）: 損失景観の曲率について
• Authors: Alison Pouplin, Hrittik Roy, Sidak Pal Singh, Georgios Arvanitidis
• Abstract要約: より深い網の一般化能力を解析する際に,多様体の微分幾何学的性質を用いることができることを示す。 特に、多様体に対して解析的に計算できるスカラー曲率に注目し、潜在的に一般化を示唆するいくつかの設定への接続を示す。
• 参考スコア（独自算出の注目度）: 9.491483692577429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the main challenges in modern deep learning is to understand why such over-parameterized models perform so well when trained on finite data. A way to analyze this generalization concept is through the properties of the associated loss landscape. In this work, we consider the loss landscape as an embedded Riemannian manifold and show that the differential geometric properties of the manifold can be used when analyzing the generalization abilities of a deep net. In particular, we focus on the scalar curvature, which can be computed analytically for our manifold, and show connections to several settings that potentially imply generalization.
• Abstract（参考訳）: 現代のディープラーニングにおける大きな課題の1つは、このような過剰パラメータモデルが有限データでトレーニングした場合になぜうまく機能するのかを理解することである。 この一般化の概念を解析する方法は、関連するロスランドスケープの特性を通してである。 本研究では,損失景観をリーマン多様体の埋め込みとして考慮し,ディープネットの一般化能力を分析する際に,多様体の微分幾何学的性質が利用できることを示す。 特に、多様体に対して解析的に計算できるスカラー曲率に注目し、潜在的に一般化を示唆するいくつかの設定への接続を示す。

関連論文リスト

• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Generalization Bounds with Data-dependent Fractal Dimensions [5.833272638548154]
  フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。 技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
  論文  参考訳（メタデータ） (2023-02-06T13:24:48Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Representation Based Complexity Measures for Predicting Generalization in Deep Learning [0.0]
  ディープニューラルネットワークは、非常に過度にパラメータ化されているにもかかわらず、一般化することができる。 近年の研究では、様々な観点からこの現象を検証している。 内部表現の質の観点から一般化の解釈を提供する。
  論文  参考訳（メタデータ） (2020-12-04T18:53:44Z)
• Total Deep Variation for Linear Inverse Problems [71.90933869570914]
  本稿では,近年のアーキテクチャ設計パターンを深層学習から活用する,学習可能な汎用正規化手法を提案する。 本稿では,古典的画像復元と医用画像再構成問題に対する最先端の性能について述べる。
  論文  参考訳（メタデータ） (2020-01-14T19:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。