論文の概要: Bounded KRnet and its applications to density estimation and approximation

• arxiv url: http://arxiv.org/abs/2305.09063v3
• Date: Wed, 23 Oct 2024 15:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:52:35.989051
• Title: Bounded KRnet and its applications to density estimation and approximation
• Title（参考訳）: 境界KRnetとその密度推定・近似への応用
• Authors: Li Zeng, Xiaoliang Wan, Tao Zhou,
• Abstract要約: 本稿では,有界領域上に,B-KRnetと呼ばれる可逆写像を開発する。 データに対する密度推定/近似や、フォッカー・プランク方程式やケラー・セゲル方程式のようなPDEの解に応用する。
• 参考スコア（独自算出の注目度）: 7.834363165328673
• License:
• Abstract: In this paper, we develop an invertible mapping, called B-KRnet, on a bounded domain and apply it to density estimation/approximation for data or the solutions of PDEs such as the Fokker-Planck equation and the Keller-Segel equation. Similar to KRnet, the structure of B-KRnet adapts the pseudo-triangular structure into a normalizing flow model. The main difference between B-KRnet and KRnet is that B-KRnet is defined on a hypercube while KRnet is defined on the whole space, in other words, a new mechanism is introduced in B-KRnet to maintain the exact invertibility. Using B-KRnet as a transport map, we obtain an explicit probability density function (PDF) model that corresponds to the pushforward of a prior (uniform) distribution on the hypercube. It can be directly applied to density estimation when only data are available. By coupling KRnet and B-KRnet, we define a deep generative model on a high-dimensional domain where some dimensions are bounded and other dimensions are unbounded. A typical case is the solution of the stationary kinetic Fokker-Planck equation, which is a PDF of position and momentum. Based on B-KRnet, we develop an adaptive learning approach to approximate partial differential equations whose solutions are PDFs or can be treated as PDFs. A variety of numerical experiments is presented to demonstrate the effectiveness of B-KRnet.
• Abstract（参考訳）: 本稿では,B-KRnetと呼ばれる非可逆写像を有界領域上で開発し,データに対する密度推定/近似や,Fokker-Planck方程式やKeller-Segel方程式などのPDEの解に適用する。 KRnetと同様に、B-KRnetの構造は擬三角構造を正規化フローモデルに適応させる。 B-KRnet と KRnet の主な違いは、B-KRnet がハイパーキューブ上で定義され、KRnet が全空間上で定義されていることである。 輸送マップとしてB-KRnetを用いて,ハイパーキューブ上の先行(一様)分布のプッシュフォワードに対応する明示的確率密度関数(PDF)モデルを得る。 データのみを利用できる場合、密度推定に直接適用することができる。 KRnet と B-KRnet を結合することにより、ある次元が有界で他の次元が非有界な高次元領域上の深部生成モデルを定義する。 典型例は定常運動論的フォッカー・プランク方程式の解であり、これは位置と運動量のPDFである。 B-KRnetに基づいて,解がPDFである,あるいはPDFとして扱えるような近似偏微分方程式を適応的に学習する手法を開発した。 B-KRnetの有効性を示すために, 種々の数値実験を行った。

関連論文リスト

• Adaptive deep density approximation for stochastic dynamical systems [0.5120567378386615]
  状態変数の確率密度関数(PDF)の反復を近似するために、新しい時間的KRnetを提案する。 tKRnetを効率的に訓練するために、対応する残留損失関数のコロケーションポイントを生成する適応手順を開発した。 時間分解技術は、長期統合を改善するためにも用いられる。
  論文  参考訳（メタデータ） (2024-05-05T04:29:22Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
  ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。 近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
  論文  参考訳（メタデータ） (2022-02-28T15:53:10Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Augmented KRnet for density estimation and approximation [0.0]
  離散モデルと連続モデルの両方を含む拡張KRnetを提案する。 この正確な可逆性は、2つの分離された次元群間で情報を交換するために特定のパターンを用いて実NVPで達成されている。 KRnetは、Knothe-Rosenblatt再構成をトランスポートマップの構造に組み込むことで、データ次元間の情報交換を強化するために開発された。
  論文  参考訳（メタデータ） (2021-05-26T22:20:16Z)
• Adaptive deep density approximation for Fokker-Planck equations [0.0]
  定常フォッカー・プランク方程式の解法として, KRnet (ADDAKR) に基づく新しい密度近似法を提案する。 KRnetは一般高次元密度関数を効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-03-20T13:49:52Z)
• A Kernel Framework to Quantify a Model's Local Predictive Uncertainty under Data Distributional Shifts [21.591460685054546]
  訓練されたニューラルネットワークの内部層出力は、そのマッピング機能と入力データ分布の両方に関連するすべての情報を含む。 生予測空間のPDFを明示的に推定する訓練ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。 カーネルフレームワークは、モデル予測エラーを検出する能力に基づいて、はるかに精度の高いモデル不確実性推定を提供する。
  論文  参考訳（メタデータ） (2021-03-02T00:31:53Z)
• VAE-KRnet and its applications to variational Bayes [4.9545850065593875]
  我々は密度推定や近似のための生成モデル VAE-KRnet を提案している。 VAEはラテント空間を捕捉する次元還元法であり、KRnetはラテント変数の分布をモデル化する。 VAE-KRnetは、データ分布または任意の確率密度関数を近似する密度モデルとして用いられる。
  論文  参考訳（メタデータ） (2020-06-29T23:14:36Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。