論文の概要: Efficient Training of Neural Fractional-Order Differential Equation via Adjoint Backpropagation

• arxiv url: http://arxiv.org/abs/2503.16666v1
• Date: Thu, 20 Mar 2025 19:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:07.477331
• Title: Efficient Training of Neural Fractional-Order Differential Equation via Adjoint Backpropagation
• Title（参考訳）: 随伴バックプロパゲーションによるニューラルフラクタル次微分方程式の効率的な学習
• Authors: Qiyu Kang, Xuhao Li, Kai Zhao, Wenjun Cui, Yanan Zhao, Weihua Deng, Wee Peng Tay,
• Abstract要約: 分数次微分方程式(FDE)は、整数から実数への微分作用素の順序を拡張することで、伝統的な微分方程式を強化する。 FDEとディープラーニングの交差点における最近の進歩は、革新的なモデルの新たな波を引き起こした。 本稿では、拡張FDEを時間内に遡って解くことにより、ニューラルネットワークFDEをトレーニングするためのスケーラブルな随伴バックプロパゲーション法を提案する。
• 参考スコア（独自算出の注目度）: 19.331085375128048
• License:
• Abstract: Fractional-order differential equations (FDEs) enhance traditional differential equations by extending the order of differential operators from integers to real numbers, offering greater flexibility in modeling complex dynamical systems with nonlocal characteristics. Recent progress at the intersection of FDEs and deep learning has catalyzed a new wave of innovative models, demonstrating the potential to address challenges such as graph representation learning. However, training neural FDEs has primarily relied on direct differentiation through forward-pass operations in FDE numerical solvers, leading to increased memory usage and computational complexity, particularly in large-scale applications. To address these challenges, we propose a scalable adjoint backpropagation method for training neural FDEs by solving an augmented FDE backward in time, which substantially reduces memory requirements. This approach provides a practical neural FDE toolbox and holds considerable promise for diverse applications. We demonstrate the effectiveness of our method in several tasks, achieving performance comparable to baseline models while significantly reducing computational overhead.
• Abstract（参考訳）: 分数次微分方程式(FDE)は、整数から実数への微分作用素の順序を延長することで従来の微分方程式を強化し、非局所的な特性を持つ複雑な力学系をモデル化する際の柔軟性を高める。 FDEとディープラーニングの交差点における最近の進歩は、グラフ表現学習のような課題に対処する可能性を実証し、革新的なモデルの新たな波を導いた。 しかし、ニューラルネットワークFDEのトレーニングは主に、FDE数値解法におけるフォワードパス演算による直接微分に依存しており、特に大規模アプリケーションにおいて、メモリ使用量や計算の複雑さが増大している。 これらの課題に対処するために、拡張FDEを時間内に遡って解くことにより、ニューラルネットワークFDEをトレーニングするためのスケーラブルな随伴バックプロパゲーション手法を提案する。 このアプローチは、実用的なニューラルネットワークFDEツールボックスを提供し、多様なアプリケーションに対してかなりの保証を提供する。 提案手法の有効性をいくつかのタスクで実証し,ベースラインモデルに匹敵する性能を実現し,計算オーバーヘッドを大幅に削減した。

関連論文リスト

• Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。 本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。 PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
  論文  参考訳（メタデータ） (2024-11-28T13:16:20Z)
• Partial-differential-algebraic equations of nonlinear dynamics by Physics-Informed Neural-Network: (I) Operator splitting and framework assessment [51.3422222472898]
  偏微分代数方程式の解法として, 新規な物理情報ネットワーク(PINN)の構築法が提案されている。 これらの新しい手法には PDE 形式があり、これは未知の従属変数が少ない低レベル形式からより従属変数を持つ高レベル形式へと進化している。
  論文  参考訳（メタデータ） (2024-07-13T22:48:17Z)
• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Latent Neural PDE Solver: a reduced-order modelling framework for partial differential equations [5.949599220326208]
  より粗い離散化を伴う潜在空間における系の力学を学習することを提案する。 非線形オートエンコーダは、まずシステムの全順序表現をメッシュ再現空間に投影するように訓練される。 実時間空間で動作するニューラルPDEソルバと比較して, 精度と効率が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-27T19:36:27Z)
• Efficient Neural PDE-Solvers using Quantization Aware Training [71.0934372968972]
  量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T09:21:19Z)
• Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
  我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-04-11T16:09:28Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Multi-resolution partial differential equations preserved learning framework for spatiotemporal dynamics [11.981731023317945]
  物理インフォームドディープラーニング(PiDL)は、物理原理をモデルに組み込むことによって、これらの課題に対処する。 我々は、ニューラルネットワークアーキテクチャに離散化された支配方程式を焼いて、物理の事前知識を活用することを提案する。 離散化されたPDEを畳み込み残差ネットワークを介して多分解能設定に埋め込むことにより、一般化可能性と長期予測を大幅に改善する。
  論文  参考訳（メタデータ） (2022-05-09T01:27:58Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
  本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。 実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
  論文  参考訳（メタデータ） (2021-04-29T13:17:46Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。