論文の概要: Understanding the Theoretical Foundations of Deep Neural Networks through Differential Equations

• arxiv url: http://arxiv.org/abs/2603.18331v1
• Date: Wed, 18 Mar 2026 22:41:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.873394
• Title: Understanding the Theoretical Foundations of Deep Neural Networks through Differential Equations
• Title（参考訳）: 微分方程式によるディープニューラルネットワークの理論基礎の理解
• Authors: Hongjue Zhao, Yizhuo Chen, Yuchen Wang, Hairong Qi, Lui Sha, Tarek Abdelzaher, Huajie Shao,
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の理解、分析、改善のための理論的基礎として微分方程式を提示する。 我々は、DNN全体を微分方程式として解釈するモデルレベルと、個々のDNN成分を微分方程式としてモデル化する層レベルを2倍の視点として採用する。 これら2つの観点から、このフレームワークがモデル設計、理論的分析、性能改善とどのように結びつくのかを概観する。
• 参考スコア（独自算出の注目度）: 22.671087929643466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable empirical success, yet the absence of a principled theoretical foundation continues to hinder their systematic development. In this survey, we present differential equations as a theoretical foundation for understanding, analyzing, and improving DNNs. We organize the discussion around three guiding questions: i) how differential equations offer a principled understanding of DNN architectures, ii) how tools from differential equations can be used to improve DNN performance in a principled way, and iii) what real-world applications benefit from grounding DNNs in differential equations. We adopt a two-fold perspective spanning the model level, which interprets the whole DNN as a differential equation, and the layer level, which models individual DNN components as differential equations. From these two perspectives, we review how this framework connects model design, theoretical analysis, and performance improvement. We further discuss real-world applications, as well as key challenges and opportunities for future research.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は目覚ましい経験的成功を達成しているが、原理的な理論基盤が欠如しているため、その体系的な発展は妨げられ続けている。 本稿では、DNNの理解、分析、改善のための理論的基礎として微分方程式を提示する。 3つの指導的質問に関する議論をまとめます。 一 微分方程式がDNNアーキテクチャの原則的理解を提供する方法 二 微分方程式の道具を用いて、DNNの性能を原則的に向上する方法、及び 三 実世界の応用が微分方程式の基底DNNの恩恵を受けるもの。 我々は、DNN全体を微分方程式として解釈するモデルレベルと、個々のDNN成分を微分方程式としてモデル化する層レベルを2倍の視点として採用する。 これら2つの観点から,このフレームワークがモデル設計,理論的解析,性能改善とどのように結びつくのかを概観する。 さらに、現実世界の応用や、今後の研究の鍵となる課題や機会についても論じる。

関連論文リスト

• Expanding the Chaos: Neural Operator for Stochastic (Partial) Differential Equations [65.80144621950981]
  我々はWienerカオス拡張(WCE)に基づいて、SPDEとSDEのためのニューラル演算子(NO)アーキテクチャを設計する。 WCEベースのニューラル演算子は、SDE/SPDEソリューション演算子を学習するための実用的でスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2026-01-03T00:59:25Z)
• Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
  近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
  論文  参考訳（メタデータ） (2024-07-27T07:34:49Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Pseudo-Hamiltonian neural networks for learning partial differential equations [0.0]
  Pseudo-Hamiltonian Neural Network (PHNN)は、最近、通常の微分方程式でモデル化できる力学系を学ぶために導入された。 本稿では,この手法を偏微分方程式に拡張する。 得られたモデルは、保存、散逸、外部力を表す用語をモデル化する最大3つのニューラルネットワークと、学習または入力として与えられる個別の畳み込み演算子から構成される。
  論文  参考訳（メタデータ） (2023-04-27T17:46:00Z)
• A Survey on Solving and Discovering Differential Equations Using Deep Neural Networks [1.0055663066199056]
  常微分方程式と偏微分方程式(DE)は、物理系をモデル化するために科学や数学の分野で広く使われている。 現在の文献は主に、特定のDreやDesファミリーを解決するディープニューラルネットワーク(DNN)ベースの方法に焦点を当てている。 本稿では,過去の研究を調査,分類し,工学・計算機科学の上級実践者,専門職,大学院生を対象とした教育チュートリアルを提供する。
  論文  参考訳（メタデータ） (2023-04-26T20:14:25Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• The gap between theory and practice in function approximation with deep neural networks [2.969705152497174]
  ディープラーニング(DL)は、意思決定プロセスが現実世界のデータに基づいてトレーニングされたディープニューラルネットワーク(DNN)によって自動化されているため、業界を変革している。 そこで我々は,実際にDNNを検証するための計算フレームワークを導入し,これらの問題に関して経験的性能の研究に利用した。
  論文  参考訳（メタデータ） (2020-01-16T20:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。