Fugu-MT 論文翻訳(概要): Finite-time Lyapunov exponents of deep neural networks

論文の概要: Finite-time Lyapunov exponents of deep neural networks

arxiv url: http://arxiv.org/abs/2306.12548v1
Date: Wed, 21 Jun 2023 20:21:23 GMT
ステータス: 処理完了
システム内更新日: 2023-06-23 16:13:30.016749
Title: Finite-time Lyapunov exponents of deep neural networks
Title（参考訳）: 深部ニューラルネットワークの有限時間リアプノフ指数
Authors: L. Storm, H. Linander, J. Bec, K. Gustavsson, B. Mehlig
Abstract要約: 入力摂動がディープニューラルネットワークの出力に与える影響を計算する。入力空間における最大指数は、力学系のコヒーレント構造に似た幾何学的構造を形成することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We compute how small input perturbations affect the output of deep neural networks, exploring an analogy between deep networks and dynamical systems, where the growth or decay of local perturbations is characterised by finite-time Lyapunov exponents. We show that the maximal exponent forms geometrical structures in input space, akin to coherent structures in dynamical systems. Ridges of large positive exponents divide input space into different regions that the network associates with different classes. These ridges visualise the geometry that deep networks construct in input space, shedding light on the fundamental mechanisms underlying their learning capabilities.
Abstract（参考訳）: 我々は、入力摂動が深層ニューラルネットワークの出力に与える影響を計算し、深部ネットワークと力学系の類似性を探り、局所摂動の成長または崩壊は有限時間リアプノフ指数によって特徴づけられる。最大指数は入力空間における幾何学的構造、すなわち力学系におけるコヒーレント構造を形成する。大きな正の指数のリッジは入力空間を、ネットワークが異なるクラスに関連付ける異なる領域に分割する。これらの隆起は、深層ネットワークが入力空間で構築する幾何学を可視化し、学習能力の基礎となるメカニズムに光を当てる。

関連論文リスト

Task structure and nonlinearity jointly determine learned representational geometry [0.0]
本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
論文参考訳（メタデータ） (2024-01-24T16:14:38Z)
The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
論文参考訳（メタデータ） (2023-10-28T15:04:53Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Deep neural networks architectures from the perspective of manifold learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文参考訳（メタデータ） (2023-06-06T04:57:39Z)
Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems [9.382423715831687]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文参考訳（メタデータ） (2022-09-22T10:32:08Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
Depth-Width Trade-offs for Neural Networks via Topological Entropy [0.0]
本稿では,深部ニューラルネットワークの表現性と力学系からのトポロジカルエントロピーとの新たな関連性を示す。位相エントロピー,振動数,周期,リプシッツ定数の関係について論じる。
論文参考訳（メタデータ） (2020-10-15T08:14:44Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。