論文の概要: Barcodes as Summary of Loss Function Topology

• arxiv url: http://arxiv.org/abs/1912.00043v3
• Date: Mon, 13 Jan 2025 18:34:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:12.473032
• Title: Barcodes as Summary of Loss Function Topology
• Title（参考訳）: 損失関数トポロジーとしてのバーコード
• Authors: Serguei Barannikov, Alexander Korotin, Dmitry Oganesyan, Daniil Emtsev, Evgeny Burnaev,
• Abstract要約: ニューラルネットワークの深さと幅の増大は局所的なミニマのバーコード低下を示す。 これはニューラルネットワークの学習と一般化特性にいくつかの自然な意味を持つ。
• 参考スコア（独自算出の注目度）: 65.3479573549873
• License:
• Abstract: We propose to study neural networks' loss surfaces by methods of topological data analysis. We suggest to apply barcodes of Morse complexes to explore topology of loss surfaces. An algorithm for calculations of the loss function's barcodes of local minima is described. We have conducted experiments for calculating barcodes of local minima for benchmark functions and for loss surfaces of small neural networks. Our experiments confirm our two principal observations for neural networks' loss surfaces. First, the barcodes of local minima are located in a small lower part of the range of values of neural networks' loss function. Secondly, increase of the neural network's depth and width lowers the barcodes of local minima. This has some natural implications for the neural network's learning and for its generalization properties.
• Abstract（参考訳）: 本稿では,トポロジカルデータ解析の手法を用いてニューラルネットワークの損失面について検討する。 損失曲面の位相を探索するためにモース錯体のバーコードを適用することを提案する。 局所ミニマの損失関数バーコードの計算アルゴリズムについて述べる。 我々は、ベンチマーク関数の局所最小値のバーコード計算や、小さなニューラルネットワークの損失曲面の計算実験を行った。 我々の実験は、ニューラルネットワークの損失面に関する2つの主要な観測を検証した。 まず、ローカルミニマのバーコードは、ニューラルネットワークの損失関数の値の範囲の小さい部分に位置する。 第二に、ニューラルネットワークの深さと幅の増大により、局所的なミニマのバーコードが低下する。 これはニューラルネットワークの学習と一般化特性にいくつかの自然な意味を持つ。

関連論文リスト

• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• SPNet: A novel deep neural network for retinal vessel segmentation based on shared decoder and pyramid-like loss [13.021014899410684]
  畳み込みニューラルネットワークは 血管構造を抽出する 重要な能力を示した 本稿では,共有デコーダとピラミッド様損失に基づく網膜血管セグメンテーションのための新しいディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-02-19T03:44:34Z)
• A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks [13.159994710917022]
  本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。 本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
  論文  参考訳（メタデータ） (2022-02-09T18:50:00Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks [15.373764014931792]
  LOss-Based SensiTivity rEgulaRizationは、スパーストポロジを用いたニューラルネットワークのトレーニング方法である。 本手法では,予備学習や巻き戻しを行わずにネットワークをゼロからトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-11-16T18:55:34Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。