論文の概要: ACE-NODE: Attentive Co-Evolving Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2105.14953v1
• Date: Mon, 31 May 2021 13:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:04:00.074909
• Title: ACE-NODE: Attentive Co-Evolving Neural Ordinary Differential Equations
• Title（参考訳）: ACE-NODE: 知覚的ニューラル正規微分方程式
• Authors: Sheo Yon Jhin, Minju Jo, Taeyong Kong, Jinsung Jeon, Noseong Park
• Abstract要約: 注意二重進化NODE(ACE-NODE)の新しい手法を提案する。 提案手法は,ほぼすべてのケースにおいて,既存のNODEベースおよび非NODEベースベースラインを非自明なマージンで上回る。
• 参考スコア（独自算出の注目度）: 3.673363968661099
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural ordinary differential equations (NODEs) presented a new paradigm to construct (continuous-time) neural networks. While showing several good characteristics in terms of the number of parameters and the flexibility in constructing neural networks, they also have a couple of well-known limitations: i) theoretically NODEs learn homeomorphic mapping functions only, and ii) sometimes NODEs show numerical instability in solving integral problems. To handle this, many enhancements have been proposed. To our knowledge, however, integrating attention into NODEs has been overlooked for a while. To this end, we present a novel method of attentive dual co-evolving NODE (ACE-NODE): one main NODE for a downstream machine learning task and the other for providing attention to the main NODE. Our ACE-NODE supports both pairwise and elementwise attention. In our experiments, our method outperforms existing NODE-based and non-NODE-based baselines in almost all cases by non-trivial margins.
• Abstract（参考訳）: ニューラル常微分方程式(NODE)は、(連続時間)ニューラルネットワークを構築するための新しいパラダイムを提示した。 パラメータの数やニューラルネットワーク構築の柔軟性に関していくつかの優れた特徴を示す一方で、理論上、NODEは同相写像関数のみを学習し、また、NODEは積分問題を解く際の数値的不安定性を示す。 これに対応するために、多くの改良が提案されている。 しかし、我々の知る限り、ノードへの注意の集中はしばらくの間見過ごされてきた。 そこで本研究では、下流機械学習タスクのメインNODEとメインNODEに注意を向けるメインNODE(ACE-NODE)について、注意を喚起する新しい2重共進化NODE(ACE-NODE)を提案する。 ACE-NODEは、ペアワイズと要素ワイズの両方をサポートしています。 実験では,既存のNODEベースベースラインと非NODEベースベースラインをほぼすべてのケースにおいて,非自明なマージンで比較した。

関連論文リスト

• ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
  本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。 私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
  論文  参考訳（メタデータ） (2024-03-16T02:07:45Z)
• GNRK: Graph Neural Runge-Kutta method for solving partial differential equations [0.0]
  本研究はグラフニューラルランゲ・クッタ(GNRK)と呼ばれる新しいアプローチを紹介する。 GNRKはグラフニューラルネットワークモジュールを古典的解法にインスパイアされた再帰構造に統合する。 これは、初期条件やPDE係数に関係なく、一般的なPDEに対処する能力を示す。
  論文  参考訳（メタデータ） (2023-10-01T08:52:46Z)
• Ortho-ODE: Enhancing Robustness and of Neural ODEs against Adversarial Attacks [0.0]
  ODE力学のリプシッツ定数を制御することにより、ロバスト性を大幅に改善できることを示す。 多数のデータセット上で強化された堅牢性を裏付ける。
  論文  参考訳（メタデータ） (2023-05-16T05:37:06Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
  物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。 本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。 提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
  論文  参考訳（メタデータ） (2023-04-10T20:19:20Z)
• Fast Neural Network based Solving of Partial Differential Equations [0.8460698440162889]
  部分微分方程式(PDE)のクラスに対する解を見つけるためにニューラルネットワーク(NN)を用いる新しい手法を提案する。 提案手法は,近年のNeural Radiance Field Research (NeRFs) の進歩に基づいており,従来のPDEソリューションよりもはるかに高速に,NNをPDEソリューションに収束させることができる。
  論文  参考訳（メタデータ） (2022-05-18T15:02:01Z)
• Heavy Ball Neural Ordinary Differential Equations [12.861233366398162]
  重球型ニューラル常微分方程式(HBNODE)を提案し,ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・オーラル・ディファレンス(NODE)のトレーニングと推論を改善する。 HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。 我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
  論文  参考訳（メタデータ） (2021-10-10T16:11:11Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Neural Delay Differential Equations [9.077775405204347]
  ニューラル遅延微分方程式 (N Neural Delay Differential Equations, NDDEs) と呼ばれる遅延を持つ連続深層ニューラルネットワークの新しいクラスを提案する。 対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。 この結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T06:53:51Z)
• On Second Order Behaviour in Augmented Neural ODEs [69.8070643951126]
  第二次ニューラルノード(ソノド)を考える 副次感度法がSONODEにどのように拡張できるかを示す。 我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
  論文  参考訳（メタデータ） (2020-06-12T14:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。