論文の概要: Improving Robustness and Uncertainty Modelling in Neural Ordinary
Differential Equations
- arxiv url: http://arxiv.org/abs/2112.12707v1
- Date: Thu, 23 Dec 2021 16:56:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 16:33:19.388153
- Title: Improving Robustness and Uncertainty Modelling in Neural Ordinary
Differential Equations
- Title（参考訳）: 神経常微分方程式におけるロバスト性と不確実性モデリングの改善
- Authors: Srinivas Anumasa, P.K. Srijith
- Abstract要約: 本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。
また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。
本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 0.2538209532048866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural ordinary differential equations (NODE) have been proposed as a
continuous depth generalization to popular deep learning models such as
Residual networks (ResNets). They provide parameter efficiency and automate the
model selection process in deep learning models to some extent. However, they
lack the much-required uncertainty modelling and robustness capabilities which
are crucial for their use in several real-world applications such as autonomous
driving and healthcare. We propose a novel and unique approach to model
uncertainty in NODE by considering a distribution over the end-time $T$ of the
ODE solver. The proposed approach, latent time NODE (LT-NODE), treats $T$ as a
latent variable and apply Bayesian learning to obtain a posterior distribution
over $T$ from the data. In particular, we use variational inference to learn an
approximate posterior and the model parameters. Prediction is done by
considering the NODE representations from different samples of the posterior
and can be done efficiently using a single forward pass. As $T$ implicitly
defines the depth of a NODE, posterior distribution over $T$ would also help in
model selection in NODE. We also propose, adaptive latent time NODE (ALT-NODE),
which allow each data point to have a distinct posterior distribution over
end-times. ALT-NODE uses amortized variational inference to learn an
approximate posterior using inference networks. We demonstrate the
effectiveness of the proposed approaches in modelling uncertainty and
robustness through experiments on synthetic and several real-world image
classification data.
- Abstract（参考訳）: ニューラル常微分方程式(NODE)は、Residual Network(ResNets)のような一般的なディープラーニングモデルに対する連続的な深度一般化として提案されている。
パラメータ効率を提供し、ディープラーニングモデルのモデル選択プロセスをある程度自動化します。
しかし、不確実性モデリングと堅牢性能力が欠如しており、これは自動運転や医療といった現実世界のアプリケーションでの使用に不可欠である。
odeソルバのエンドタイム$t$の分布を考慮し,ノードの不確実性をモデル化する新規かつユニークな手法を提案する。
提案手法である latent time node (lt-node) では,$t$ を潜在変数として扱い,データから$t$ 以上の後方分布を得るためにベイズ学習を適用する。
特に,変分推論を用いて近似後値およびモデルパラメータを学習する。
予測は後部の異なるサンプルからNODE表現を考慮し、単一の前方通過を用いて効率的に行うことができる。
T$がNODEの深さを暗黙的に定義しているように、$T$を超える後続分布はNODEのモデル選択にも役立ちます。
また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。
ALT-NODEはアモルティズド変分推論を用いて、推論ネットワークを用いて近似後部学習を行う。
本研究では,合成画像と実世界の画像分類データを用いて,不確実性とロバスト性をモデル化する手法の有効性を示す。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Latent Time Neural Ordinary Differential Equations [0.2538209532048866]
本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。
また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。
本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-12-23T17:31:47Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of
Partial Differential Equations [5.584060970507507]
Parsimony Enhanced Sparse Bayesian Learning (PeSBL) 法は非線形力学系の部分微分方程式 (PDE) を解析するために開発された。
数値ケーススタディの結果,多くの標準力学系のPDEをPeSBL法を用いて正確に同定できることが示唆された。
論文 参考訳（メタデータ） (2021-07-08T00:56:11Z) - Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。
我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文 参考訳（メタデータ） (2021-06-09T08:11:23Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳（メタデータ） (2020-11-09T11:02:40Z) - Neural Jump Ordinary Differential Equations: Consistent Continuous-Time
Prediction and Filtering [6.445605125467574]
我々は、連続的に学習するデータ駆動型アプローチを提供するNeural Jump ODE(NJ-ODE)を紹介する。
我々のモデルは、$L2$-Optimalオンライン予測に収束することを示す。
我々は,より複雑な学習タスクにおいて,モデルがベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2020-06-08T16:34:51Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。