論文の概要: Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set
- arxiv url: http://arxiv.org/abs/2106.00012v1
- Date: Mon, 31 May 2021 09:17:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 08:45:48.791457
- Title: Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set
- Title（参考訳）: 検証セットを使わずにニューラルネットワークを一般化する永続ホモロジー
- Authors: Asier Guti\'errez-Fandi\~no, David P\'erez-Fern\'andez, Jordi
Armengol-Estap\'e, Marta Villegas
- Abstract要約: 本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。
ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。
その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training of neural networks is usually monitored with a validation
(holdout) set to estimate the generalization of the model. This is done instead
of measuring intrinsic properties of the model to determine whether it is
learning appropriately. In this work, we suggest studying the training of
neural networks with Algebraic Topology, specifically Persistent Homology (PH).
Using simplicial complex representations of neural networks, we study the PH
diagram distance evolution on the neural network learning process with
different architectures and several datasets. Results show that the PH diagram
distance between consecutive neural network states correlates with the
validation accuracy, implying that the generalization error of a neural network
could be intrinsically estimated without any holdout set.
- Abstract（参考訳）: ニューラルネットワークのトレーニングは通常、モデルの一般化を推定するための検証(ホールドアウト)セットで監視される。
これは、モデル固有の特性を測定して、それが適切に学習されているかどうかを判断する代わりに行われる。
本研究では,代数的トポロジー,特に永続的ホモロジー(PH)を用いたニューラルネットワークのトレーニングを提案する。
ニューラルネットワークの単純な複雑な表現を用いて、異なるアーキテクチャと複数のデータセットを持つニューラルネットワーク学習プロセスにおいて、PHダイアグラム距離の進化を研究する。
その結果,連続ニューラルネットワーク状態間のPHダイアグラム距離は検証精度と相関し,ニューラルネットワークの一般化誤差をホールドアウトセットなしで本質的に推定できることが示唆された。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Predicting the generalization gap in neural networks using topological
data analysis [33.511371257571504]
トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。
トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。
持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
論文 参考訳（メタデータ） (2022-03-23T11:15:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。