論文の概要: Preconditioned training of normalizing flows for variational inference
in inverse problems
- arxiv url: http://arxiv.org/abs/2101.03709v1
- Date: Mon, 11 Jan 2021 05:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 20:42:49.316168
- Title: Preconditioned training of normalizing flows for variational inference
in inverse problems
- Title(参考訳): 逆問題における変分推論のための正規化流れの事前条件付き訓練
- Authors: Ali Siahkoohi and Gabrio Rizzuti and Mathias Louboutin and Philipp A.
Witte and Felix J. Herrmann
- Abstract要約: 低忠実な後方分布から直接サンプリングできる条件付き正規化フロー(NF)を提案する。
この条件NFは、クルバック・リーブラー分岐の最小化を含む高忠実度目標のトレーニングを高速化するために使用される。
2D玩具と地震圧縮センシングのサンプルを含む私たちの数値実験は、かなりのスピードアップが達成可能であることを示しています。
- 参考スコア(独自算出の注目度): 1.5749416770494706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Obtaining samples from the posterior distribution of inverse problems with
expensive forward operators is challenging especially when the unknowns involve
the strongly heterogeneous Earth. To meet these challenges, we propose a
preconditioning scheme involving a conditional normalizing flow (NF) capable of
sampling from a low-fidelity posterior distribution directly. This conditional
NF is used to speed up the training of the high-fidelity objective involving
minimization of the Kullback-Leibler divergence between the predicted and the
desired high-fidelity posterior density for indirect measurements at hand. To
minimize costs associated with the forward operator, we initialize the
high-fidelity NF with the weights of the pretrained low-fidelity NF, which is
trained beforehand on available model and data pairs. Our numerical
experiments, including a 2D toy and a seismic compressed sensing example,
demonstrate that thanks to the preconditioning considerable speed-ups are
achievable compared to training NFs from scratch.
- Abstract(参考訳): 高価なフォワード演算子による逆問題の後方分布からサンプルを得ることは、特に未知のものが強不均質な地球を含む場合、困難である。
これらの課題を満たすために,条件付き正規化フロー (nf) を低忠実な後方分布から直接サンプリングできるプリコンディショニング方式を提案する。
この条件NFは、予測値と所望の高忠実後方密度との間のクルバック・リーブラー分散の最小化を含む高忠実度目標のトレーニングを、間接測定のために高速化するために用いられる。
フォワード演算子に関連するコストを最小限に抑えるため,事前訓練した低忠実度NFの重み付けで高忠実度NFを初期化する。
2D玩具と地震圧縮センシングの例を含む数値実験により, プレコンディショニングにより, NFをスクラッチからトレーニングした場合に比べて, かなりのスピードアップが達成できることが実証された。
関連論文リスト
- Stable Training of Normalizing Flows for High-dimensional Variational
Inference [2.139348034155473]
正規化フロー(NFs)による変分推論は、MCMC法の代替としてますます人気が高まっている。
実際には、勾配のばらつきが大きいため、高次元分布を近似するための深い正規化フローの訓練は不可能であることが多い。
本研究では, 勾配勾配勾配の分散を安定化させる従来の手法は, 実NVPの安定トレーニングを実現するには不十分であることを示す。
論文 参考訳(メタデータ) (2024-02-26T09:04:07Z) - Rare Event Probability Learning by Normalizing Flows [27.34331961951239]
稀な事象は発生確率が低いことによって定義される。
本研究では,NOFISと呼ばれる重要度サンプリングの正規化を提案する。
NOFIS法の有効性は, 総合的な定性的可視化によって検証される。
論文 参考訳(メタデータ) (2023-10-29T21:59:33Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳(メタデータ) (2023-10-11T10:21:34Z) - ELUQuant: Event-Level Uncertainty Quantification in Deep Inelastic
Scattering [0.0]
物理事象レベルでの詳細な不確実性定量化(UQ)のための流れを近似した物理インフォームドベイズニューラルネットワーク(BNN)を提案する。
Deep Inelastic Scattering (DIS) イベントに適用すると、我々のモデルはキネティック変数 $x$, $Q2$, $y$ を効果的に抽出する。
根底にある不確実性に関するこの詳細な説明は、特にイベントフィルタリングのようなタスクにおいて、意思決定には重要でないことを証明している。
論文 参考訳(メタデータ) (2023-10-04T15:50:05Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。
ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。
本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
論文 参考訳(メタデータ) (2023-01-29T11:53:55Z) - Learning by example: fast reliability-aware seismic imaging with
normalizing flows [0.76146285961466]
本研究では, 近隣調査から得られた地震データから, 後方分布を安価にサンプリングできる正規化流(NF)を訓練する。
これらのサンプルを用いて,画像の信頼性に関する最初の評価を含む高忠実度画像の計算を行う。
論文 参考訳(メタデータ) (2021-04-13T15:13:45Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。