論文の概要: On backpropagating Hessians through ODEs

• arxiv url: http://arxiv.org/abs/2301.08085v1
• Date: Thu, 19 Jan 2023 14:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 14:58:00.154736
• Title: On backpropagating Hessians through ODEs
• Title（参考訳）: ODEによるヘッセンの逆伝播について
• Authors: Axel Ciceri and Thomas Fischbacher
• Abstract要約: 種々の文脈における常微分方程式(ODE)を通してヘッセンを数値的に逆伝播する問題を論じる。 本稿では,計算の労力とフレームワークのオーバーヘッドの典型的な影響など,理論的側面と実用的側面の両方について論じる。
• 参考スコア（独自算出の注目度）: 4.619541348328937
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We discuss the problem of numerically backpropagating Hessians through ordinary differential equations (ODEs) in various contexts and elucidate how different approaches may be favourable in specific situations. We discuss both theoretical and pragmatic aspects such as, respectively, bounds on computational effort and typical impact of framework overhead. Focusing on the approach of hand-implemented ODE-backpropagation, we develop the computation for the Hessian of orbit-nonclosure for a mechanical system. We also clarify the mathematical framework for extending the backward-ODE-evolution of the costate-equation to Hessians, in its most generic form. Some calculations, such as that of the Hessian for orbit non-closure, are performed in a language, defined in terms of a formal grammar, that we introduce to facilitate the tracking of intermediate quantities. As pedagogical examples, we discuss the Hessian of orbit-nonclosure for the higher dimensional harmonic oscillator and conceptually related problems in Newtonian gravitational theory. In particular, applying our approach to the figure-8 three-body orbit, we readily rediscover a distorted-figure-8 solution originally described by Sim\'o. Possible applications may include: improvements to training of `neural ODE'- type deep learning with second-order methods, numerical analysis of quantum corrections around classical paths, and, more broadly, studying options for adjusting an ODE's initial configuration such that the impact on some given objective function is small.
• Abstract（参考訳）: 本稿では, 常微分方程式 (odes) を用いてヘシアンを数値的に再伝播する問題について議論し, 特定の状況において異なるアプローチがいかに好まれるかを明らかにする。 本稿では,計算の労力とフレームワークのオーバーヘッドの典型的な影響など,理論的・実用的な側面について論じる。 本研究は,手動によるODE-バックプロパゲーションのアプローチに着目し,メカニカルシステムのための軌道非閉鎖ヘシアン計算を開発する。 また、コスタリット方程式の後方のODE進化をヘッセン語に拡張する数学的枠組みを最も一般的な形で明らかにした。 軌道非閉包のための Hessian のようないくつかの計算は、中間量の追跡を容易にするために、形式文法の言葉で定義される言語で実行される。 教育的な例として、高次元調和振動子に対する軌道非閉のヘッシアンと、ニュートン重力理論における概念的に関連する問題について論じる。 特に、図8の3体軌道に我々のアプローチを適用すると、元々sim\'oによって記述された歪んだ図8の解がすぐに再発見される。 考えられる応用としては、二階法による「ニューラルODE」型深層学習の訓練の改善、古典的経路周辺の量子補正の数値解析、そしてより広範に、与えられた目的関数への影響が小さいようにODEの初期構成を調整するオプションの研究などがある。

関連論文リスト

• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• High-dimensional manifold of solutions in neural networks: insights from statistical physics [0.0]
  ニューラルネットワークに対する統計力学のアプローチを概観し、連立的な重み付きパーセプトロンアーキテクチャのパラダイム的な例に注目した。 ゼロトレーニングエラー構成が幾何学的にどのように配置されているかを明らかにする最近の研究について論じる。
  論文  参考訳（メタデータ） (2023-09-17T11:10:25Z)
• Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
  単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
  論文  参考訳（メタデータ） (2023-07-24T08:46:12Z)
• Uncertainty and Structure in Neural Ordinary Differential Equations [28.12033356095061]
  ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。 我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
  論文  参考訳（メタデータ） (2023-05-22T17:50:42Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Correspondence between open bosonic systems and stochastic differential equations [77.34726150561087]
  ボゾン系が環境との相互作用を含むように一般化されたとき、有限$n$で正確な対応も可能であることを示す。 離散非線形シュル「オーディンガー方程式」の形をした特定の系をより詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-03T19:17:37Z)
• Learning nonparametric ordinary differential equations from noisy data [0.10555513406636088]
  雑音データから通常の微分方程式(ODE)ドットx = f(t,x)の非パラメトリックシステムを学ぶことは、新しい機械学習トピックである。 再生ケルネルヒルベルト空間(RKHS)の理論を用いて、ODEの解が存在し、一意である f の候補を定義する。 本稿では,Representer定理とオイラー近似を反復的に用いて数値解を与えるペナルティ法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:59:40Z)
• Quantum Kernel Methods for Solving Differential Equations [21.24186888129542]
  量子カーネル法を用いて微分方程式(DE)の解法を提案する。 量子モデルをカーネル関数の重み付け和として構成し、特徴写像を用いて変数を符号化し、モデル微分を表現する。
  論文  参考訳（メタデータ） (2022-03-16T18:56:35Z)
• CD-ROM: Complemented Deep-Reduced Order Model [2.02258267891574]
  本稿では,古典的POD-Galerkinリミットオーダーモデル(ROM)に対するディープラーニングに基づくクロージャモデリング手法を提案する。 提案手法は、ニューラルネットワークを用いてよく研究された演算子を近似して理論的に基礎づけられている。 CD-ROMアプローチの能力は、計算流体力学(英語版)の古典的な2つの例とパラメトリックなケースである倉本-シヴァシンスキー方程式(英語版)で実証される。
  論文  参考訳（メタデータ） (2022-02-22T09:05:06Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• Simplifying Hamiltonian and Lagrangian Neural Networks via Explicit Constraints [49.66841118264278]
  私たちは、現在のアプローチの限界を押し上げるために、一連の挑戦的なカオスと拡張ボディシステムを導入します。 実験の結果,明示的な制約を持つモンテカルロ座標は,精度とデータ効率を100倍に向上させることがわかった。
  論文  参考訳（メタデータ） (2020-10-26T13:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。