論文の概要: Learning by solving differential equations

• arxiv url: http://arxiv.org/abs/2505.13397v1
• Date: Mon, 19 May 2025 17:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.774925
• Title: Learning by solving differential equations
• Title（参考訳）: 微分方程式の解法による学習
• Authors: Benoit Dherin, Michael Munn, Hanna Mazzawi, Michael Wunder, Sourabh Medapati, Javier Gonzalvo,
• Abstract要約: ルンゲ・クッタ法(英語版)(RK)は、非常に強力な明示的で暗黙的な高階ODEソルバの族を提供する。 深層学習に適用したRKソルバの性能評価を行い,その限界について検討し,その欠点を克服する方法を提案する。
• 参考スコア（独自算出の注目度）: 5.999724026544112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning algorithms use variations of gradient descent as their main learning methods. Gradient descent can be understood as the simplest Ordinary Differential Equation (ODE) solver; namely, the Euler method applied to the gradient flow differential equation. Since Euler, many ODE solvers have been devised that follow the gradient flow equation more precisely and more stably. Runge-Kutta (RK) methods provide a family of very powerful explicit and implicit high-order ODE solvers. However, these higher-order solvers have not found wide application in deep learning so far. In this work, we evaluate the performance of higher-order RK solvers when applied in deep learning, study their limitations, and propose ways to overcome these drawbacks. In particular, we explore how to improve their performance by naturally incorporating key ingredients of modern neural network optimizers such as preconditioning, adaptive learning rates, and momentum.
• Abstract（参考訳）: 現代のディープラーニングアルゴリズムは、勾配降下のバリエーションを主な学習方法として用いている。 勾配降下は、最も単純な正規微分方程式(ODE)解法、すなわち勾配流微分方程式に適用されたオイラー法として理解することができる。 オイラー以降、勾配流方程式をより正確に、より安定に追従するように多くのODE解法が考案された。 ルンゲ・クッタ法(英語版)(RK)は、非常に強力な明示的で暗黙的な高階ODEソルバの族を提供する。 しかし、これらの高次解法はディープラーニングにはまだ広く適用されていない。 本研究では,ディープラーニングに適用した高次RK解法の性能評価を行い,その限界について検討し,これらの欠点を克服する方法を提案する。 特に、プレコンディショニング、適応学習率、運動量といった、現代のニューラルネットワークオプティマイザの重要な要素を自然に取り入れることで、パフォーマンスを向上させる方法について検討する。

関連論文リスト

• Training Stiff Neural Ordinary Differential Equations with Explicit Exponential Integration Methods [3.941173292703699]
  剛常微分方程式(ODE)は多くの科学や工学の分野で一般的である。 標準的なニューラルODEアプローチは、厳密なシステムを正確に学習するのに苦労する。 本稿では、明示的な指数積分法を探求することによって、これまでの研究を拡大する。
  論文  参考訳（メタデータ） (2024-12-02T06:40:08Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Learning Subgrid-scale Models with Neural Ordinary Differential Equations [0.39160947065896795]
  偏微分方程式(PDE)をシミュレートする際のサブグリッドスケールモデル学習のための新しい手法を提案する。 このアプローチでは、ニューラルネットワークは粗大から細小のグリッドマップを学習するために使用され、これはサブグリッドスケールのパラメータ化と見なすことができる。 提案手法はNODEの利点を継承し,サブグリッドスケールのパラメータ化,近似結合演算子,低次解法の効率向上に利用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:45:09Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics [0.0]
  本論文では,適応微分方程式ソルバの内部コストと離散感性を組み合わせてトレーニング過程を導く新しい正規化手法について述べる。 このアプローチは微分方程式解法アルゴリズムの背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性を安価で正確なコスト推定として利用する。 当社のアプローチが予測時間を半減させる方法を示し、これがトレーニング時間を桁違いに向上させる方法を示します。
  論文  参考訳（メタデータ） (2021-05-09T12:03:03Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。