論文の概要: Multivariate Density Estimation with Deep Neural Mixture Models

• arxiv url: http://arxiv.org/abs/2012.03391v1
• Date: Sun, 6 Dec 2020 23:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 14:04:01.497810
• Title: Multivariate Density Estimation with Deep Neural Mixture Models
• Title（参考訳）: 深部神経混合モデルを用いた多変量密度推定
• Authors: Edmondo Trentin (DIISM, University of Siena, Italy)
• Abstract要約: ディープニューラルネットワーク(DNN)は密度推定にはほとんど適用されていない。 本稿では,ニューラルミクチャー密度(NMM)に関するこれまでの研究を拡張した。 深部NMM(Deep NMM)を推定するための最大形アルゴリズム(ML)が配される。 DNMMを通して任意の精度でモデル化できる確率密度関数のクラスが正式に定義される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Albeit worryingly underrated in the recent literature on machine learning in general (and, on deep learning in particular), multivariate density estimation is a fundamental task in many applications, at least implicitly, and still an open issue. With a few exceptions, deep neural networks (DNNs) have seldom been applied to density estimation, mostly due to the unsupervised nature of the estimation task, and (especially) due to the need for constrained training algorithms that ended up realizing proper probabilistic models that satisfy Kolmogorov's axioms. Moreover, in spite of the well-known improvement in terms of modeling capabilities yielded by mixture models over plain single-density statistical estimators, no proper mixtures of multivariate DNN-based component densities have been investigated so far. The paper fills this gap by extending our previous work on Neural Mixture Densities (NMMs) to multivariate DNN mixtures. A maximum-likelihood (ML) algorithm for estimating Deep NMMs (DNMMs) is handed out, which satisfies numerically a combination of hard and soft constraints aimed at ensuring satisfaction of Kolmogorov's axioms. The class of probability density functions that can be modeled to any degree of precision via DNMMs is formally defined. A procedure for the automatic selection of the DNMM architecture, as well as of the hyperparameters for its ML training algorithm, is presented (exploiting the probabilistic nature of the DNMM). Experimental results on univariate and multivariate data are reported on, corroborating the effectiveness of the approach and its superiority to the most popular statistical estimation techniques.
• Abstract（参考訳）: 機械学習全般(特にディープラーニング)に関する最近の文献では、多くのアプリケーションにおいて、多変量密度推定は基本的なタスクであり、少なくとも暗黙的には、未解決の問題である。 少数の例外を除いて、深層ニューラルネットワーク(dnn)は、主に推定タスクの教師なしの性質と(特に)コルモゴロフの公理を満たす適切な確率モデルを実現するための制約付きトレーニングアルゴリズムの必要性のために、密度推定にはほとんど適用されていない。 さらに, 単密度統計推定器上での混合モデルによるモデリング能力の向上はよく知られているものの, 多変量DNNに基づく成分密度の適切な混合は研究されていない。 本論文は,神経混合密度(nmms)を多変量dnn混合物に拡張することにより,このギャップを埋めている。 深部NMM(Deep NMMs)を推定するための最大自由度アルゴリズム(ML)が提案され、コルモゴロフの公理の満足度を確保することを目的としたハードとソフトの制約の組み合わせを数値的に満足する。 DNMMを通して任意の精度でモデル化できる確率密度関数のクラスが正式に定義される。 DNMMアーキテクチャの自動選択手順と機械学習アルゴリズムのハイパーパラメータについて述べる(DNMMの確率的性質を明らかにする)。 単変量および多変量データの実験的結果が報告され、最も一般的な統計的推定手法に対するアプローチの有効性とその優位性を裏付ける。

関連論文リスト

• MD-NOMAD: Mixture density nonlinear manifold decoder for emulating stochastic differential equations and uncertainty propagation [0.9208007322096533]
  本研究では, 混合密度非線形多様体デコーダ (MD-NOMAD) をシミュレータとして提案する。 提案手法は,ニューラルアーキテクチャの非線形デコーダ(NomaD)を混合密度法で学習し,出力関数の条件付き確率を推定する。
  論文  参考訳（メタデータ） (2024-04-24T08:39:14Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Deep Gaussian Mixture Ensembles [9.673093148930874]
  この研究は、ディープガウス混合アンサンブル(DGME)と呼ばれる新しい確率的深層学習技術を導入している。 DGMEは、重み付き分布やマルチモーダル分布などの複雑な確率分布を近似することができる。 実験の結果,DGMEは複雑な予測密度を扱う深層学習モデルにおいて,最先端の不確実性よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-12T16:53:38Z)
• Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles [0.7499722271664145]
  ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。 不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。 異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
  論文  参考訳（メタデータ） (2023-05-02T19:41:17Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Marginalizable Density Models [14.50261153230204]
  本稿では,変数の任意の部分集合の確率,限界,条件に対するクローズドフォーム表現を提供する,新しいディープネットワークアーキテクチャを提案する。 このモデルはまた、変数数に時間複雑性の対数依存しか依存しない並列サンプリングを可能にする。
  論文  参考訳（メタデータ） (2021-06-08T23:54:48Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。