論文の概要: Understanding the Theoretical Foundations of Deep Neural Networks through Differential Equations

• arxiv url: http://arxiv.org/abs/2603.18331v1
• Date: Wed, 18 Mar 2026 22:41:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.873394
• Title: Understanding the Theoretical Foundations of Deep Neural Networks through Differential Equations
• Title（参考訳）: 微分方程式によるディープニューラルネットワークの理論基礎の理解
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の理解、分析、改善のための理論的基礎として微分方程式を提示する。 我々は、DNN全体を微分方程式として解釈するモデルレベルと、個々のDNN成分を微分方程式としてモデル化する層レベルを2倍の視点として採用する。 これら2つの観点から、このフレームワークがモデル設計、理論的分析、性能改善とどのように結びつくのかを概観する。
• 参考スコア（独自算出の注目度）: 22.671087929643466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable empirical success, yet the absence of a principled theoretical foundation continues to hinder their systematic development. In this survey, we present differential equations as a theoretical foundation for understanding, analyzing, and improving DNNs. We organize the discussion around three guiding questions: i) how differential equations offer a principled understanding of DNN architectures, ii) how tools from differential equations can be used to improve DNN performance in a principled way, and iii) what real-world applications benefit from grounding DNNs in differential equations. We adopt a two-fold perspective spanning the model level, which interprets the whole DNN as a differential equation, and the layer level, which models individual DNN components as differential equations. From these two perspectives, we review how this framework connects model design, theoretical analysis, and performance improvement. We further discuss real-world applications, as well as key challenges and opportunities for future research.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は目覚ましい経験的成功を達成しているが、原理的な理論基盤が欠如しているため、その体系的な発展は妨げられ続けている。 本稿では、DNNの理解、分析、改善のための理論的基礎として微分方程式を提示する。 3つの指導的質問に関する議論をまとめます。 一 微分方程式がDNNアーキテクチャの原則的理解を提供する方法 二 微分方程式の道具を用いて、DNNの性能を原則的に向上する方法、及び 三 実世界の応用が微分方程式の基底DNNの恩恵を受けるもの。 我々は、DNN全体を微分方程式として解釈するモデルレベルと、個々のDNN成分を微分方程式としてモデル化する層レベルを2倍の視点として採用する。 これら2つの観点から,このフレームワークがモデル設計,理論的解析,性能改善とどのように結びつくのかを概観する。 さらに、現実世界の応用や、今後の研究の鍵となる課題や機会についても論じる。

関連論文リスト

• Learning with Covariance Matrices: Principal Component Analysis Meets Learning with Graphs [94.85514873380572]
  本稿では,共分散ニューラルネットワーク(VNN)の理論的基礎について概説する。 グラフニューラルネットワーク(GNN)に関する既存の理論的貢献は、抽象グラフ表現を考察する。 このチュートリアルは、幅広い信号処理に影響を及ぼすVNNの数学的解析を通じて、様々な新しい理論的な洞察に焦点をあてる。
  論文  参考訳（メタデータ） (2026-09-09T17:28:46Z)
• Expanding the Chaos: Neural Operator for Stochastic (Partial) Differential Equations [65.80144621950981]
  我々はWienerカオス拡張(WCE)に基づいて、SPDEとSDEのためのニューラル演算子(NO)アーキテクチャを設計する。 WCEベースのニューラル演算子は、SDE/SPDEソリューション演算子を学習するための実用的でスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2026-01-03T00:59:25Z)
• Deep Neural Networks Inspired by Differential Equations [32.63347759387102]
  ディープラーニングはコンピュータビジョン、科学計算、動的システムといった分野において重要な技術となっている。 ニューラルネットワークは、理論的理解、解釈可能性、一般化に関連する課題に永続的に直面する。 本稿では、ディファレンシャル方程式にインスパイアされたディープニューラルネットワークと動的モデリング手法について広範なレビューを行う。
  論文  参考訳（メタデータ） (2025-10-09T04:08:23Z)
• Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
  近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
  論文  参考訳（メタデータ） (2024-07-27T07:34:49Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Pseudo-Hamiltonian neural networks for learning partial differential equations [0.0]
  Pseudo-Hamiltonian Neural Network (PHNN)は、最近、通常の微分方程式でモデル化できる力学系を学ぶために導入された。 本稿では,この手法を偏微分方程式に拡張する。 得られたモデルは、保存、散逸、外部力を表す用語をモデル化する最大3つのニューラルネットワークと、学習または入力として与えられる個別の畳み込み演算子から構成される。
  論文  参考訳（メタデータ） (2023-04-27T17:46:00Z)
• A Survey on Solving and Discovering Differential Equations Using Deep Neural Networks [1.0055663066199056]
  常微分方程式と偏微分方程式(DE)は、物理系をモデル化するために科学や数学の分野で広く使われている。 現在の文献は主に、特定のDreやDesファミリーを解決するディープニューラルネットワーク(DNN)ベースの方法に焦点を当てている。 本稿では,過去の研究を調査,分類し,工学・計算機科学の上級実践者,専門職,大学院生を対象とした教育チュートリアルを提供する。
  論文  参考訳（メタデータ） (2023-04-26T20:14:25Z)
• Quantum-Inspired Tensor Neural Networks for Partial Differential Equations [5.963563752404561]
  ディープラーニング手法は時間と記憶の訓練によって制約される。これらの欠点に対処するため、ニューラルネットワーク(TNN)を実装している。 我々は、TNNが古典的ニューラルネットワーク(DNN)と同等の精度を保ちながら、重要なパラメータの節約を提供することを示した。
  論文  参考訳（メタデータ） (2022-08-03T17:41:11Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• The gap between theory and practice in function approximation with deep neural networks [2.969705152497174]
  ディープラーニング(DL)は、意思決定プロセスが現実世界のデータに基づいてトレーニングされたディープニューラルネットワーク(DNN)によって自動化されているため、業界を変革している。 そこで我々は,実際にDNNを検証するための計算フレームワークを導入し,これらの問題に関して経験的性能の研究に利用した。
  論文  参考訳（メタデータ） (2020-01-16T20:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。