論文の概要: Bounded KRnet and its applications to density estimation and
approximation
- arxiv url: http://arxiv.org/abs/2305.09063v1
- Date: Mon, 15 May 2023 23:12:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:52:15.714482
- Title: Bounded KRnet and its applications to density estimation and
approximation
- Title（参考訳）: 境界KRnetとその密度推定・近似への応用
- Authors: Li Zeng, Xiaoliang Wan, Tao Zhou
- Abstract要約: 本稿では,B-KRnetと呼ばれる非可逆写像を有界領域上に開発し,データに対する密度推定/近似に応用する。
KRnetと同様に、B-KRnetの構造はKnothe-Rosenblatt再配置の三角形形式を正規化フローモデルに適合させる。
- 参考スコア（独自算出の注目度）: 6.066542157374599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop an invertible mapping, called B-KRnet, on a bounded
domain and apply it to density estimation/approximation for data or the
solutions of PDEs such as the Fokker-Planck equation and the Keller-Segel
equation. Similar to KRnet, the structure of B-KRnet adapts the triangular form
of the Knothe-Rosenblatt rearrangement into a normalizing flow model. The main
difference between B-KRnet and KRnet is that B-KRnet is defined on a hypercube
while KRnet is defined on the whole space, in other words, we introduce a new
mechanism in B-KRnet to maintain the exact invertibility. Using B-KRnet as a
transport map, we obtain an explicit probability density function (PDF) model
that corresponds to the pushforward of a prior (uniform) distribution on the
hypercube. To approximate PDFs defined on a bounded computational domain,
B-KRnet is more effective than KRnet. By coupling KRnet and B-KRnet, we can
also define a deep generative model on a high-dimensional domain where some
dimensions are bounded and other dimensions are unbounded. A typical case is
the solution of the stationary kinetic Fokker-Planck equation, which is a PDF
of position and momentum. Based on B-KRnet, we develop an adaptive learning
approach to approximate partial differential equations whose solutions are PDFs
or can be regarded as a PDF. In addition, we apply B-KRnet to density
estimation when only data are available. A variety of numerical experiments is
presented to demonstrate the effectiveness of B-KRnet.
- Abstract（参考訳）: 本稿では,B-KRnetと呼ばれる非可逆写像を有界領域上で開発し,データに対する密度推定/近似や,Fokker-Planck方程式やKeller-Segel方程式などのPDEの解に適用する。
KRnetと同様に、B-KRnetの構造はKnothe-Rosenblatt再配置の三角形形式を正規化フローモデルに適合させる。
B-KRnet と KRnet の主な違いは、B-KRnet がハイパーキューブ上で定義されるのに対し、KRnet は全空間上で定義されることである。
輸送マップとしてB-KRnetを用いて,ハイパーキューブ上の先行(一様)分布のプッシュフォワードに対応する明示的確率密度関数(PDF)モデルを得る。
有界計算領域上で定義されたPDFを近似するために、B-KRnetはKRnetよりも効果的である。
KRnet と B-KRnet を結合することにより、ある次元が有界で他の次元が非有界な高次元領域上の深部生成モデルを定義できる。
典型例は定常運動論的フォッカー・プランク方程式の解であり、これは位置と運動量のPDFである。
B-KRnetに基づいて,解がPDFかPDFとみなすことのできる近似偏微分方程式の適応学習手法を開発した。
さらに,データのみ利用可能な場合の密度推定にb-krnetを適用する。
B-KRnetの有効性を示すために,様々な数値実験を行った。
関連論文リスト
- Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation [58.19676004192321]
ノイズからの画像生成とデータからの逆変換の両方を可能にする拡散モデル (DM) は、強力な未ペア画像対イメージ(I2I)翻訳アルゴリズムにインスピレーションを与えている。
我々は、最小輸送コストの分布間の微分方程式(SDE)であるSchrodinger Bridges (SBs) を用いてこの問題に取り組む。
この観測に触発されて,SB ODE を予め訓練した安定拡散により近似する潜在シュロディンガー橋 (LSB) を提案する。
提案アルゴリズムは,従来のDMのコストをわずかに抑えながら,教師なし環境での競合的I2I翻訳を実現していることを示す。
論文 参考訳（メタデータ） (2024-11-22T11:24:14Z) - Adaptive deep density approximation for stochastic dynamical systems [0.5120567378386615]
状態変数の確率密度関数(PDF)の反復を近似するために、新しい時間的KRnetを提案する。
tKRnetを効率的に訓練するために、対応する残留損失関数のコロケーションポイントを生成する適応手順を開発した。
時間分解技術は、長期統合を改善するためにも用いられる。
論文 参考訳（メタデータ） (2024-05-05T04:29:22Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。
近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。
DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文 参考訳（メタデータ） (2022-02-28T15:53:10Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Augmented KRnet for density estimation and approximation [0.0]
離散モデルと連続モデルの両方を含む拡張KRnetを提案する。
この正確な可逆性は、2つの分離された次元群間で情報を交換するために特定のパターンを用いて実NVPで達成されている。
KRnetは、Knothe-Rosenblatt再構成をトランスポートマップの構造に組み込むことで、データ次元間の情報交換を強化するために開発された。
論文 参考訳（メタデータ） (2021-05-26T22:20:16Z) - Adaptive deep density approximation for Fokker-Planck equations [0.0]
定常フォッカー・プランク方程式の解法として, KRnet (ADDAKR) に基づく新しい密度近似法を提案する。
KRnetは一般高次元密度関数を効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-03-20T13:49:52Z) - A Kernel Framework to Quantify a Model's Local Predictive Uncertainty
under Data Distributional Shifts [21.591460685054546]
訓練されたニューラルネットワークの内部層出力は、そのマッピング機能と入力データ分布の両方に関連するすべての情報を含む。
生予測空間のPDFを明示的に推定する訓練ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。
カーネルフレームワークは、モデル予測エラーを検出する能力に基づいて、はるかに精度の高いモデル不確実性推定を提供する。
論文 参考訳（メタデータ） (2021-03-02T00:31:53Z) - VAE-KRnet and its applications to variational Bayes [4.9545850065593875]
我々は密度推定や近似のための生成モデル VAE-KRnet を提案している。
VAEはラテント空間を捕捉する次元還元法であり、KRnetはラテント変数の分布をモデル化する。
VAE-KRnetは、データ分布または任意の確率密度関数を近似する密度モデルとして用いられる。
論文 参考訳（メタデータ） (2020-06-29T23:14:36Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳（メタデータ） (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。