Fugu-MT 論文翻訳(概要): Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation

論文の概要: Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation

arxiv url: http://arxiv.org/abs/2310.09583v1
Date: Sat, 14 Oct 2023 13:28:36 GMT
ステータス: 処理完了
システム内更新日: 2023-10-17 19:30:08.011950
Title: Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
Title（参考訳）: 同じコインの2つの側面:ホモトピー継続による深い平衡モデルと神経オデムの橋渡し
Authors: Shutong Ding, Tianyu Cui, Jingya Wang, Ye Shi
Abstract要約: Deep Equilibrium Models (DEQs) とNeural Ordinary Differential Equations (Neural ODEs) は、優れた性能と低メモリ消費のため、大きな成功を収めている。ホモトピー連続性に着想を得て、これらの2つのモデル間の接続を確立し、それらが実際に同じコインの2つの側面であることを示す。本稿では,DQから高い精度特性とニューラルODEからの安定性特性を継承する,HomoODEと呼ばれる新しい暗黙モデルを提案する。
参考スコア（独自算出の注目度）: 13.357483985112085
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Equilibrium Models (DEQs) and Neural Ordinary Differential Equations (Neural ODEs) are two branches of implicit models that have achieved remarkable success owing to their superior performance and low memory consumption. While both are implicit models, DEQs and Neural ODEs are derived from different mathematical formulations. Inspired by homotopy continuation, we establish a connection between these two models and illustrate that they are actually two sides of the same coin. Homotopy continuation is a classical method of solving nonlinear equations based on a corresponding ODE. Given this connection, we proposed a new implicit model called HomoODE that inherits the property of high accuracy from DEQs and the property of stability from Neural ODEs. Unlike DEQs, which explicitly solve an equilibrium-point-finding problem via Newton's methods in the forward pass, HomoODE solves the equilibrium-point-finding problem implicitly using a modified Neural ODE via homotopy continuation. Further, we developed an acceleration method for HomoODE with a shared learnable initial point. It is worth noting that our model also provides a better understanding of why Augmented Neural ODEs work as long as the augmented part is regarded as the equilibrium point to find. Comprehensive experiments with several image classification tasks demonstrate that HomoODE surpasses existing implicit models in terms of both accuracy and memory consumption.
Abstract（参考訳）: 深部平衡モデル(deqs)と神経常微分方程式(neural ordinary differential equation,neural odes)は、その優れた性能とメモリ消費の低さにより顕著な成功を収めた暗黙のモデルの2つの分野である。どちらも暗黙のモデルであるが、DECとNeural ODEは異なる数学的定式化から派生している。ホモトピー連続性に着想を得て、これらの2つのモデル間の接続を確立し、それらが実際に同じコインの2つの側面であることを示す。ホモトピー継続は、対応するODEに基づいて非線形方程式を解く古典的な方法である。この関係を前提に,deqsから高精度な性質と神経odesからの安定性を継承するhomoodeと呼ばれる新しい暗黙的モデルを提案した。フォワードパスにおけるニュートン法による平衡点フィニング問題を明示的に解くDECとは異なり、ホモトピー継続を通じて修正されたニューラルODEを用いて暗黙的に平衡点フィニング問題を解く。さらに,共有学習可能な初期点を持つhomoodeの高速化手法を開発した。私たちのモデルは、拡張部が発見すべき平衡点である限り、Augmented Neural ODEsがなぜ機能するのかをよりよく理解している点にも注意が必要だ。複数の画像分類タスクによる総合的な実験により、HomoODEは精度とメモリ消費の両方の観点から既存の暗黙のモデルを上回ることを示した。

関連論文リスト

Physics Informed Distillation for Diffusion Models [21.173298037358954]
本研究では,教師の拡散モデルに対応するODEシステムの解法を表現するために,学生モデルを用いた物理インフォームド蒸留(PID)を導入する。 PIDの性能は最近の蒸留法と同等である。
論文参考訳（メタデータ） (2024-11-13T07:03:47Z)
Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文参考訳（メタデータ） (2023-07-11T16:51:38Z)
On Numerical Integration in Neural Ordinary Differential Equations [0.0]
本稿では,数値積分がニューラルネットワークモデルの学習に与える影響を明らかにするために,逆修正微分方程式(IMDE)を提案する。ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。
論文参考訳（メタデータ） (2022-06-15T07:39:01Z)
Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文参考訳（メタデータ） (2022-06-10T02:14:59Z)
Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network [0.0]
2つの高速かつ1つの遅い変数を持つHodgkin-Huxley型システムを考える。これら2つのシステムでは、そのダイナミクスを再現できる人工ニューラルネットワークを作成します。ビスタブルモデルでは、トレーニング中に見ずに、あるソリューションのブランチでのみトレーニングされたネットワークが、別のネットワークを回復することを意味する。
論文参考訳（メタデータ） (2022-03-26T19:04:19Z)
Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文参考訳（メタデータ） (2022-02-07T17:47:46Z)
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文参考訳（メタデータ） (2021-09-06T14:52:58Z)
Optimization Induced Equilibrium Networks [76.05825996887573]
暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
論文参考訳（メタデータ） (2021-05-27T15:17:41Z)
A Probabilistic State Space Model for Joint Inference from Differential Equations and Data [23.449725313605835]
ベイズフィルタを用いて解過程を直接句する常微分方程式 (odes) の解法の新しいクラスを示す。その後、拡張カルマンフィルタの単一の線形複雑化パスにおいて、潜力とODE溶液のベイズ推定を近似することができるようになる。本研究では,covid-19流行データに基づく非パラメトリックsirdモデルを訓練することにより,アルゴリズムの表現力と性能を示す。
論文参考訳（メタデータ） (2021-03-18T10:36:09Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。