論文の概要: Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems
- arxiv url: http://arxiv.org/abs/2407.17667v1
- Date: Wed, 24 Jul 2024 22:39:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 15:47:21.272594
- Title: Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems
- Title（参考訳）: 分散シフトの問題に対処する:逆問題に対する不特定・高次元データ駆動優先事項の修正
- Authors: Gabriel Missael Barco, Alexandre Adam, Connor Stone, Yashar Hezaveh, Laurence Perreault-Levasseur,
- Abstract要約: データ駆動型人口レベルの分布は、逆問題における単純なパラメトリック先行よりも魅力的な選択肢として現れている。
これらのモデルをトレーニングするために、基礎となるデータ生成プロセスから独立した、同一に分散されたサンプルを取得することは困難である。
本研究は, 事前分布の不特定から, 更新された分布が, 人口レベルの分布に徐々に近づきつつあることを示す。
- 参考スコア（独自算出の注目度）: 39.58317527488534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian inference for inverse problems hinges critically on the choice of priors. In the absence of specific prior information, population-level distributions can serve as effective priors for parameters of interest. With the advent of machine learning, the use of data-driven population-level distributions (encoded, e.g., in a trained deep neural network) as priors is emerging as an appealing alternative to simple parametric priors in a variety of inverse problems. However, in many astrophysical applications, it is often difficult or even impossible to acquire independent and identically distributed samples from the underlying data-generating process of interest to train these models. In these cases, corrupted data or a surrogate, e.g. a simulator, is often used to produce training samples, meaning that there is a risk of obtaining misspecified priors. This, in turn, can bias the inferred posteriors in ways that are difficult to quantify, which limits the potential applicability of these models in real-world scenarios. In this work, we propose addressing this issue by iteratively updating the population-level distributions by retraining the model with posterior samples from different sets of observations and showcase the potential of this method on the problem of background image reconstruction in strong gravitational lensing when score-based models are used as data-driven priors. We show that starting from a misspecified prior distribution, the updated distribution becomes progressively closer to the underlying population-level distribution, and the resulting posterior samples exhibit reduced bias after several updates.
- Abstract（参考訳）: 逆問題に対するベイズ的推論は、事前の選択に批判的に依存する。
特定の事前情報がない場合、人口レベルの分布は興味のあるパラメーターの効果的な事前情報として機能する。
機械学習の出現に伴い、さまざまな逆問題における単純なパラメトリック事前の代替として、データ駆動人口レベルの分布(例えば、訓練されたディープニューラルネットワークでエンコードされる)を前者として使用するようになった。
しかし、多くの天体物理学的な応用において、これらのモデルを訓練するために、基礎となるデータ生成プロセスから独立して同一に分散されたサンプルを取得することはしばしば困難または不可能である。
これらのケースでは、破損したデータやサロゲート(シミュレーターなど)がトレーニングサンプルを作成するためにしばしば使用され、不特定な事前情報を得るリスクがある。
これにより、推測された後部を定量化が難しい方法でバイアスし、現実のシナリオにおけるこれらのモデルの適用可能性を制限することができる。
本研究では,異なる観測セットの後方サンプルを用いてモデルを再学習することで,人口分布を反復的に更新することでこの問題に対処することを提案し,スコアベースモデルをデータ駆動型先行モデルとして使用する場合,強力な重力レンズによる背景画像再構成の問題に対する本手法の可能性を示す。
本研究は, 事前分布の不特定から, 更新された分布が下位の個体群分布に徐々に近づき, 得られた後続標本は, 数回の更新後にバイアスを減少させることを示した。
関連論文リスト
- Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Reducing the cost of posterior sampling in linear inverse problems via task-dependent score learning [5.340736751238338]
前方マッピングの評価は, 後部サンプル生成時に完全に回避可能であることを示す。
この観測は、最近導入された無限次元拡散モデルの枠組みに一般化されることを証明している。
論文 参考訳（メタデータ） (2024-05-24T15:33:27Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳（メタデータ） (2022-07-24T02:38:54Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Deep Visual Anomaly detection with Negative Learning [18.79849041106952]
本稿では、異常検出の強化に負の学習概念を用いる、負の学習を伴う異常検出(ADNL)を提案する。
その考え方は、与えられた少数の異常例を用いて生成モデルの再構成能力を制限することである。
このようにして、ネットワークは通常のデータを再構築することを学ぶだけでなく、異常の可能性のある分布から遠く離れた正規分布を囲む。
論文 参考訳（メタデータ） (2021-05-24T01:48:44Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization [0.0]
メタラーニングを用いて情報共役の事前分布の推定を自動化する新しい手法を提案する。
このプロセスから、元のデータ分布の形状パラメータを推定するために、わずかなデータしか必要としない先行データを生成する。
論文 参考訳（メタデータ） (2021-01-03T23:58:32Z) - Improving Maximum Likelihood Training for Text Generation with Density
Ratio Estimation [51.091890311312085]
本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。
本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
論文 参考訳（メタデータ） (2020-07-12T15:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。