論文の概要: Analysis of the Geometric Structure of Neural Networks and Neural ODEs via Morse Functions

• arxiv url: http://arxiv.org/abs/2405.09351v2
• Date: Tue, 04 Feb 2025 14:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:55:04.515212
• Title: Analysis of the Geometric Structure of Neural Networks and Neural ODEs via Morse Functions
• Title（参考訳）: モース関数によるニューラルネットワークとニューラルネットワークの幾何学構造の解析
• Authors: Christian Kuehn, Sara-Viola Kuntz,
• Abstract要約: 本研究では,スカラー出力を持つ有限深度ニューラルネットワークと無限深度ニューラルネットワークの入力出力ダイナミクスについて検討する。 ネットワークの特定の構造によって、入力出力マップは臨界点の存在と規則性に関して異なる特性を持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Besides classical feed-forward neural networks, also neural ordinary differential equations (neural ODEs) have gained particular interest in recent years. Neural ODEs can be interpreted as an infinite depth limit of feed-forward or residual neural networks. We study the input-output dynamics of finite and infinite depth neural networks with scalar output. In the finite depth case, the input is a state associated with a finite number of nodes, which maps under multiple non-linear transformations to the state of one output node. In analogy, a neural ODE maps an affine linear transformation of the input to an affine linear transformation of its time-$T$ map. We show that depending on the specific structure of the network, the input-output map has different properties regarding the existence and regularity of critical points, which can be characterized via Morse functions. We prove that critical points cannot exist if the dimension of the hidden layer is monotonically decreasing or the dimension of the phase space is smaller or equal to the input dimension. In the case that critical points exist, we classify their regularity depending on the specific architecture of the network. We show that except for a Lebesgue measure zero set in the weight space, each critical point is non-degenerate, if for finite depth neural networks the underlying graph has no bottleneck, and if for neural ODEs, the affine linear transformations used have full rank. For each type of architecture, the proven properties are comparable in the finite and the infinite depth case. The established theorems allow us to formulate results on universal embedding, i.e., on the exact representation of maps by neural networks and neural ODEs. Our dynamical systems viewpoint on the geometric structure of the input-output map provides a fundamental understanding of why certain architectures perform better than others.
• Abstract（参考訳）: 古典的なフィードフォワードニューラルネットワークに加えて、ニューラル常微分方程式(ニューラルODE)も近年特に関心を集めている。 ニューラルネットワークは、フィードフォワードまたは残留ニューラルネットワークの無限の深さ制限として解釈することができる。 本研究では,スカラー出力を持つ有限深度ニューラルネットワークと無限深度ニューラルネットワークの入力出力ダイナミクスについて検討する。 有限深さの場合、入力は有限数のノードに関連付けられた状態であり、複数の非線形変換の下で1つの出力ノードの状態にマップされる。 アナログにおいて、ニューラル ODE は入力のアフィン線型変換をその時間-T$写像のアフィン線型変換にマッピングする。 ネットワークの特定の構造に依存すると、入力出力マップは臨界点の存在と正則性に関して異なる性質を持ち、モース関数によって特徴づけられることを示す。 隠れ層の次元が単調に減少している場合や位相空間の次元が入力次元に等しい場合、臨界点が存在しないことを証明する。 臨界点が存在する場合、ネットワークの特定のアーキテクチャによってそれらの規則性を分類する。 重み空間におけるルベーグ測度ゼロ集合を除いて、各臨界点は非退化であり、有限深度ニューラルネットワークの場合、基礎となるグラフはボトルネックがなく、ニューラル ODE の場合、使用されるアフィン線型変換はフルランクである。 それぞれのタイプのアーキテクチャにおいて、証明された性質は有限および無限深度の場合と同等である。 確立された定理は、普遍的な埋め込み、すなわちニューラルネットワークとニューラルODEによる地図の正確な表現に関する結果を定式化することができる。 入力出力マップの幾何学的構造に関する我々の力学系的な視点は、あるアーキテクチャが他のアーキテクチャよりも優れている理由の根本的な理解を提供する。

関連論文リスト

• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• The Deep Arbitrary Polynomial Chaos Neural Network or how Deep Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos Theory [0.44040106718326594]
  Deep Artificial Networks(DANN)に基づくアプローチは、私たちの時代において非常に人気があります。 DANNに基づくディープラーニングアプローチの大部分では、ニューラル信号処理のカーネル構造は同じである。 この課題に対処するために、任意のカオスとして知られるPCE理論をデータ駆動で一般化することを提案する。
  論文  参考訳（メタデータ） (2023-06-26T15:09:14Z)
• Effects of Data Geometry in Early Deep Learning [16.967930721746672]
  ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。 ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
  論文  参考訳（メタデータ） (2022-12-29T17:32:05Z)
• Dynamical systems' based neural networks [0.7874708385247353]
  我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。 ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
  論文  参考訳（メタデータ） (2022-10-05T16:30:35Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Scaling Properties of Deep Residual Networks [2.6763498831034043]
  勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。 神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。 これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
  論文  参考訳（メタデータ） (2021-05-25T22:31:30Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。