論文の概要: Preconditioned training of normalizing flows for variational inference
in inverse problems
- arxiv url: http://arxiv.org/abs/2101.03709v1
- Date: Mon, 11 Jan 2021 05:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 20:42:49.316168
- Title: Preconditioned training of normalizing flows for variational inference
in inverse problems
- Title（参考訳）: 逆問題における変分推論のための正規化流れの事前条件付き訓練
- Authors: Ali Siahkoohi and Gabrio Rizzuti and Mathias Louboutin and Philipp A.
Witte and Felix J. Herrmann
- Abstract要約: 低忠実な後方分布から直接サンプリングできる条件付き正規化フロー(NF)を提案する。
この条件NFは、クルバック・リーブラー分岐の最小化を含む高忠実度目標のトレーニングを高速化するために使用される。
2D玩具と地震圧縮センシングのサンプルを含む私たちの数値実験は、かなりのスピードアップが達成可能であることを示しています。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Obtaining samples from the posterior distribution of inverse problems with
expensive forward operators is challenging especially when the unknowns involve
the strongly heterogeneous Earth. To meet these challenges, we propose a
preconditioning scheme involving a conditional normalizing flow (NF) capable of
sampling from a low-fidelity posterior distribution directly. This conditional
NF is used to speed up the training of the high-fidelity objective involving
minimization of the Kullback-Leibler divergence between the predicted and the
desired high-fidelity posterior density for indirect measurements at hand. To
minimize costs associated with the forward operator, we initialize the
high-fidelity NF with the weights of the pretrained low-fidelity NF, which is
trained beforehand on available model and data pairs. Our numerical
experiments, including a 2D toy and a seismic compressed sensing example,
demonstrate that thanks to the preconditioning considerable speed-ups are
achievable compared to training NFs from scratch.
- Abstract（参考訳）: 高価なフォワード演算子による逆問題の後方分布からサンプルを得ることは、特に未知のものが強不均質な地球を含む場合、困難である。
これらの課題を満たすために,条件付き正規化フロー (nf) を低忠実な後方分布から直接サンプリングできるプリコンディショニング方式を提案する。
この条件NFは、予測値と所望の高忠実後方密度との間のクルバック・リーブラー分散の最小化を含む高忠実度目標のトレーニングを、間接測定のために高速化するために用いられる。
フォワード演算子に関連するコストを最小限に抑えるため,事前訓練した低忠実度NFの重み付けで高忠実度NFを初期化する。
2D玩具と地震圧縮センシングの例を含む数値実験により, プレコンディショニングにより, NFをスクラッチからトレーニングした場合に比べて, かなりのスピードアップが達成できることが実証された。
関連論文リスト
- Reflected Flow Matching [36.38883647601013]
連続正規化フロー(CNF)は通常の微分方程式を学習し、先行サンプルをデータに変換する。
流れマッチング (FM) は, 条件付速度場に向けて速度モデルを回帰させることによりCNFを訓練するシミュレーションのない手法として登場した。
シミュレーション不要な条件付き速度場をマッチングすることにより, 反射型CNFの速度モデルをトレーニングするための反射流マッチング(RFM)を提案する。
論文 参考訳（メタデータ） (2024-05-26T14:09:43Z) - PiRD: Physics-informed Residual Diffusion for Flow Field Reconstruction [5.06136344261226]
データ忠実度向上のためのCNNベースの手法は、トレーニング期間中の低忠実度データパターンと分布に依存している。
提案したモデルである物理インフォームド残差拡散(Residual Diffusion)は、標準の低忠実度入力からデータの品質を高める能力を示す。
実験結果から, 2次元乱流に対して, 再学習を必要とせず, 高品質な流れを効果的に再現できることが示唆された。
論文 参考訳（メタデータ） (2024-04-12T11:45:51Z) - Stable Training of Normalizing Flows for High-dimensional Variational
Inference [2.139348034155473]
正規化フロー(NFs)による変分推論は、MCMC法の代替としてますます人気が高まっている。
実際には、勾配のばらつきが大きいため、高次元分布を近似するための深い正規化フローの訓練は不可能であることが多い。
本研究では, 勾配勾配勾配の分散を安定化させる従来の手法は, 実NVPの安定トレーニングを実現するには不十分であることを示す。
論文 参考訳（メタデータ） (2024-02-26T09:04:07Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳（メタデータ） (2023-02-01T14:47:17Z) - Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。
ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。
本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
論文 参考訳（メタデータ） (2023-01-29T11:53:55Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - Learning by example: fast reliability-aware seismic imaging with
normalizing flows [0.76146285961466]
本研究では, 近隣調査から得られた地震データから, 後方分布を安価にサンプリングできる正規化流(NF)を訓練する。
これらのサンプルを用いて,画像の信頼性に関する最初の評価を含む高忠実度画像の計算を行う。
論文 参考訳（メタデータ） (2021-04-13T15:13:45Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。