論文の概要: LazyDINO: Fast, scalable, and efficiently amortized Bayesian inversion via structure-exploiting and surrogate-driven measure transport

• arxiv url: http://arxiv.org/abs/2411.12726v1
• Date: Tue, 19 Nov 2024 18:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:37:18.074062
• Title: LazyDINO: Fast, scalable, and efficiently amortized Bayesian inversion via structure-exploiting and surrogate-driven measure transport
• Title（参考訳）: LazyDINO: 高速でスケーラブルで効率の良いバイエルンインバージョン
• Authors: Lianghao Cao, Joshua Chen, Michael Brennan, Thomas O'Leary-Roseberry, Youssef Marzouk, Omar Ghattas,
• Abstract要約: 本稿では,高次元非線形逆問題に対する高速でスケーラブルで効率的に補正された解に対する輸送マップ変分推定法であるLazyDinoについて述べる。 本手法は,PtOマップとヤコビアンとの結合サンプルを用いて,PtOマップの微分インフォームド・ニューラルサロゲートを構成するオフライン位相からなる。 オンラインフェーズでは、観測データを与えられた場合、遅延マップの代理駆動学習を用いて、素早い後部近似を求める。
• 参考スコア（独自算出の注目度）: 2.13309333425771
• License:
• Abstract: We present LazyDINO, a transport map variational inference method for fast, scalable, and efficiently amortized solutions of high-dimensional nonlinear Bayesian inverse problems with expensive parameter-to-observable (PtO) maps. Our method consists of an offline phase in which we construct a derivative-informed neural surrogate of the PtO map using joint samples of the PtO map and its Jacobian. During the online phase, when given observational data, we seek rapid posterior approximation using surrogate-driven training of a lazy map [Brennan et al., NeurIPS, (2020)], i.e., a structure-exploiting transport map with low-dimensional nonlinearity. The trained lazy map then produces approximate posterior samples or density evaluations. Our surrogate construction is optimized for amortized Bayesian inversion using lazy map variational inference. We show that (i) the derivative-based reduced basis architecture [O'Leary-Roseberry et al., Comput. Methods Appl. Mech. Eng., 388 (2022)] minimizes the upper bound on the expected error in surrogate posterior approximation, and (ii) the derivative-informed training formulation [O'Leary-Roseberry et al., J. Comput. Phys., 496 (2024)] minimizes the expected error due to surrogate-driven transport map optimization. Our numerical results demonstrate that LazyDINO is highly efficient in cost amortization for Bayesian inversion. We observe one to two orders of magnitude reduction of offline cost for accurate posterior approximation, compared to simulation-based amortized inference via conditional transport and conventional surrogate-driven transport. In particular, LazyDINO outperforms Laplace approximation consistently using fewer than 1000 offline samples, while other amortized inference methods struggle and sometimes fail at 16,000 offline samples.
• Abstract（参考訳）: 本稿では,高次元非線形ベイズ逆問題に対する高次元パラメータ・可観測(PtO)写像を用いた高速かつスケーラブルで効率よく補正された解の輸送写像変分推定法であるLazyDinoについて述べる。 本手法は,PtOマップとヤコビアンとの結合サンプルを用いて,PtOマップの微分インフォームド・ニューラルサロゲートを構成するオフライン位相からなる。 オンラインフェーズでは,観測データを与えられた場合,遅延写像 (Brennan et al , NeurIPS, (2020)) の代理駆動による訓練,すなわち低次元非線形性を持つ構造探索輸送写像を用いて,高速な後部近似を求める。 訓練された遅延マップは、およその後方サンプルまたは密度評価を生成する。 我々のサロゲート構造は遅延写像の変分推論を用いたアモータイズベイズ反転に最適化されている。 私たちはそれを示します i)デリバティブベース還元基底アーキテクチャ[O'Leary-Roseberry et al , Comput. Methods Appl. Mech. Eng. 388 (2022)]は、代用後近似における期待誤差の上限を最小化し、 (II)導電性インフォームドトレーニングの定式化 [O'Leary-Roseberry et al , J. Comput. Phys., 496 (2024)] は、サロゲート駆動のトランスポートマップ最適化による予測誤差を最小化する。 以上の結果から,LazyDINOはベイジアン逆転のコスト削減に極めて有効であることが示唆された。 シミュレーションに基づくアモータイズ推論を条件付き輸送と従来のサロゲート駆動輸送で行う場合と比較して, 高精度な後部近似のためのオフラインコストの1～2桁の削減を観測した。 特に、LazyDINOは1000以上のオフラインサンプルを使用してLaplace近似を一貫して上回り、他の償却推論メソッドは困難で、時には16,000のオフラインサンプルで失敗する。

関連論文リスト

• Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference [1.740133468405535]
  静的および条件付き最適輸送(COT)問題の解を近似する2つのニューラルネットワークアプローチを提案する。 我々は、ベンチマークデータセットとシミュレーションに基づく逆問題を用いて、両アルゴリズムを競合する最先端のアプローチと比較する。
  論文  参考訳（メタデータ） (2023-10-25T20:20:09Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Entropic estimation of optimal transport maps [15.685006881635209]
  厳密な有限サンプル保証付き$mathbbRd$上の2つの分布間の最適写像を推定する手法を開発する。 我々は,Sinkhornのアルゴリズムを用いて,推定器の計算が容易であることを示す。
  論文  参考訳（メタデータ） (2021-09-24T14:57:26Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Generative Learning With Euler Particle Transport [14.557451744544592]
  生成学習のためのユーラー粒子輸送(EPT)手法を提案する。 提案手法は, 基準分布から目標分布への最適輸送マップの探索の問題に動機付けられている。 提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
  論文  参考訳（メタデータ） (2020-12-11T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。