論文の概要: Enhanced Distribution Modelling via Augmented Architectures For Neural ODE Flows

• arxiv url: http://arxiv.org/abs/2306.02731v1
• Date: Mon, 5 Jun 2023 09:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:49:33.473861
• Title: Enhanced Distribution Modelling via Augmented Architectures For Neural ODE Flows
• Title（参考訳）: ニューラルODEフローのための拡張アーキテクチャによる分散モデリング
• Authors: Etrit Haxholli, Marco Lorenzi
• Abstract要約: 本稿では、FFJORDの表現力を高めるニューラルODEベースの正規化フローであるAFFJORDを提案する。 連続的な意味での連鎖則をケーブル則に一般化することにより、一般拡張形式のヤコビ行列式を導出する。 MNIST, CIFAR-10, CelebA 32x32などの合成・高次元データにおける密度推定実験の結果, AFFJORDがFFJORDよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the neural ODE formulation of normalizing flows such as in FFJORD enables us to calculate the determinants of free form Jacobians in O(D) time, the flexibility of the transformation underlying neural ODEs has been shown to be suboptimal. In this paper, we present AFFJORD, a neural ODE-based normalizing flow which enhances the representation power of FFJORD by defining the neural ODE through special augmented transformation dynamics which preserve the topology of the space. Furthermore, we derive the Jacobian determinant of the general augmented form by generalizing the chain rule in the continuous sense into the Cable Rule, which expresses the forward sensitivity of ODEs with respect to their initial conditions. The cable rule gives an explicit expression for the Jacobian of a neural ODE transformation, and provides an elegant proof of the instantaneous change of variable. Our experimental results on density estimation in synthetic and high dimensional data, such as MNIST, CIFAR-10 and CelebA 32x32, show that AFFJORD outperforms the baseline FFJORD through the improved flexibility of the underlying vector field.
• Abstract（参考訳）: FFJORDのような正規化フローのニューラルODEの定式化により自由形ヤコビ行列式をO(D)時間で計算できるが、ニューラルODEの変換の柔軟性は準最適であることが示されている。 本稿では,AFFJORDについて,空間のトポロジを保存する特別な拡張変換ダイナミクスを用いて,ニューラルODEを定義することにより,FFJORDの表現力を高めるニューラルODEベースの正規化フローを提案する。 さらに、連続的な意味で鎖則を一般化して一般的な拡張形式のヤコビ行列式を導出し、その初期条件に対するODEの前方感度を表現するケーブル規則を導出する。 ケーブル規則は、神経ode変換のジャコビアンに対する明示的な表現を与え、変数の瞬時変化のエレガントな証明を提供する。 MNIST, CIFAR-10, CelebA 32x32などの合成・高次元データの密度推定実験の結果, AFFJORDは基礎となるベクトル場の柔軟性の向上により, FFJORDよりも優れていることが示された。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs via Double Normalizing Flows [28.62579476863723]
  本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。 また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。 シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-17T09:28:47Z)
• Linear convergence of forward-backward accelerated algorithms without knowledge of the modulus of strong convexity [14.0409219811182]
  我々はネステロフの加速勾配降下(NAG)とFISTAの両方が強い凸関数に対して線形収束を示すことを示した。 我々は、運動エネルギーの動的適応係数を含むリアプノフ関数の創出に際し、特異なアプローチを強調した。
  論文  参考訳（メタデータ） (2023-06-16T08:58:40Z)
• TO-FLOW: Efficient Continuous Normalizing Flows with Temporal Optimization adjoint with Moving Speed [12.168241245313164]
  連続正規化フロー (CNFs) は任意の複素分布と等方ガウス分布の間の可逆写像を構成する。 ニューラルODEトレーニングの複雑さが増しているため、大規模なデータセットでは処理できない。 本稿では,ニューラル・オード・トレーニングの前方伝播の進化時間を最適化し,時間的最適化を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:56:41Z)
• E(n) Equivariant Normalizing Flows for Molecule Generation in 3D [87.12477361140716]
  本稿ではユークリッド対称性に同値な生成モデルを紹介する: E(n) 等変正規化フロー(E-NFs) 私たちの知る限りでは、これは3Dで分子を生成する可能性に基づく最初の深層生成モデルである。
  論文  参考訳（メタデータ） (2021-05-19T09:28:54Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
  ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
  論文  参考訳（メタデータ） (2020-06-16T22:21:15Z)
• On Second Order Behaviour in Augmented Neural ODEs [69.8070643951126]
  第二次ニューラルノード(ソノド)を考える 副次感度法がSONODEにどのように拡張できるかを示す。 我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
  論文  参考訳（メタデータ） (2020-06-12T14:25:31Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。