論文の概要: A Dynamical Systems Perspective on the Analysis of Neural Networks

• arxiv url: http://arxiv.org/abs/2507.05164v1
• Date: Mon, 07 Jul 2025 16:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.512596
• Title: A Dynamical Systems Perspective on the Analysis of Neural Networks
• Title（参考訳）: ニューラルネットワーク解析に関する力学系の視点から
• Authors: Dennis Chemnitz, Maximilian Engel, Christian Kuehn, Sara-Viola Kuntz,
• Abstract要約: 動的システムを用いて機械学習アルゴリズムのいくつかの側面を分析する。 我々は、ディープニューラルネットワーク、(確率的な)勾配降下、および関連するトピックから動的ステートメントまで、さまざまな課題を再フォーマットする方法を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this chapter, we utilize dynamical systems to analyze several aspects of machine learning algorithms. As an expository contribution we demonstrate how to re-formulate a wide variety of challenges from deep neural networks, (stochastic) gradient descent, and related topics into dynamical statements. We also tackle three concrete challenges. First, we consider the process of information propagation through a neural network, i.e., we study the input-output map for different architectures. We explain the universal embedding property for augmented neural ODEs representing arbitrary functions of given regularity, the classification of multilayer perceptrons and neural ODEs in terms of suitable function classes, and the memory-dependence in neural delay equations. Second, we consider the training aspect of neural networks dynamically. We describe a dynamical systems perspective on gradient descent and study stability for overdetermined problems. We then extend this analysis to the overparameterized setting and describe the edge of stability phenomenon, also in the context of possible explanations for implicit bias. For stochastic gradient descent, we present stability results for the overparameterized setting via Lyapunov exponents of interpolation solutions. Third, we explain several results regarding mean-field limits of neural networks. We describe a result that extends existing techniques to heterogeneous neural networks involving graph limits via digraph measures. This shows how large classes of neural networks naturally fall within the framework of Kuramoto-type models on graphs and their large-graph limits. Finally, we point out that similar strategies to use dynamics to study explainable and reliable AI can also be applied to settings such as generative models or fundamental issues in gradient training methods, such as backpropagation or vanishing/exploding gradients.
• Abstract（参考訳）: 本章では,動的システムを用いて機械学習アルゴリズムのいくつかの側面を解析する。 実証的なコントリビューションとして、ディープニューラルネットワーク、(確率的な)勾配降下、関連するトピックから動的ステートメントまで、さまざまな課題を再フォーマットする方法を実証する。 具体的な課題も3つあります。 まず、ニューラルネットワークによる情報伝達の過程、すなわち、異なるアーキテクチャに対する入力出力マップについて検討する。 本稿では、与えられた正規性の任意の関数を表す拡張ニューラルODEの普遍的な埋め込み特性、適切な関数クラスにおける多層パーセプトロンとニューラルODEの分類、およびニューラル遅延方程式におけるメモリ依存性について説明する。 第二に、ニューラルネットワークのトレーニングの側面を動的に検討する。 本稿では,過度に決定された問題に対する勾配降下と安定性に関する力学系の観点から述べる。 次に、この分析を過度にパラメータ化された設定に拡張し、安定性現象のエッジを記述する。 確率勾配降下については、補間解のリャプノフ指数を介して過パラメータ設定の安定性を示す。 第3に、ニューラルネットワークの平均場限界に関するいくつかの結果について説明する。 本稿では,グラフ制限を含むヘテロジニアスニューラルネットワークへの既存手法の拡張について述べる。 このことは、グラフ上の倉本型モデルとその大きなグラフ限界の枠組みの中で、ニューラルネットワークの大規模なクラスが自然にどのように分類されるかを示している。 最後に、バックプロパゲーションや消滅/露出勾配といった勾配訓練手法における生成モデルや基本的な問題といった設定に、説明可能で信頼性の高いAIを研究するためにダイナミクスを使用する同様の戦略が適用可能であることを指摘した。

関連論文リスト

• High-order expansion of Neural Ordinary Differential Equations flows [4.4569182855550755]
  イベントグラデーション上のニューラルODEダイナミクスの厳密な数学的記述を提供する高階微分に基づくフレームワークであるイベントトランジションを紹介する。 本研究は,イベントトリガー型ニューラルディファレンス方程式のより深い理論的基礎と,複雑なシステム力学を説明する数学的構造に寄与する。
  論文  参考訳（メタデータ） (2025-04-02T08:57:34Z)
• Network Dynamics-Based Framework for Understanding Deep Neural Networks [11.44947569206928]
  本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。 ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。 異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。