論文の概要: Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data
- arxiv url: http://arxiv.org/abs/2305.01166v1
- Date: Tue, 2 May 2023 02:51:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 15:33:10.367699
- Title: Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data
- Title(参考訳): 雑音データから学習したスコアベース生成前の逆問題の解法
- Authors: Asad Aali, Marius Arvinte, Sidharth Kumar, Jonathan I. Tamir
- Abstract要約: SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。
2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
- 参考スコア(独自算出の注目度): 1.7969777786551424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present SURE-Score: an approach for learning score-based generative models
using training samples corrupted by additive Gaussian noise. When a large
training set of clean samples is available, solving inverse problems via
score-based (diffusion) generative models trained on the underlying
fully-sampled data distribution has recently been shown to outperform
end-to-end supervised deep learning. In practice, such a large collection of
training data may be prohibitively expensive to acquire in the first place. In
this work, we present an approach for approximately learning a score-based
generative model of the clean distribution, from noisy training data. We
formulate and justify a novel loss function that leverages Stein's unbiased
risk estimate to jointly denoise the data and learn the score function via
denoising score matching, while using only the noisy samples. We demonstrate
the generality of SURE-Score by learning priors and applying posterior sampling
to ill-posed inverse problems in two practical applications from different
domains: compressive wireless multiple-input multiple-output channel estimation
and accelerated 2D multi-coil magnetic resonance imaging reconstruction, where
we demonstrate competitive reconstruction performance when learning at
signal-to-noise ratio values of 0 and 10 dB, respectively.
- Abstract(参考訳): 加法ガウス雑音による学習サンプルを用いたスコアベース生成モデル学習のためのSURE-Scoreを提案する。
クリーンサンプルの大規模なトレーニングセットが利用可能になると、スコアベース(diffusion)生成モデルによる逆問題を解くことが、エンドツーエンドの教師付きディープラーニングよりも優れていることが最近示されている。
実際には、このような大規模なトレーニングデータの収集は、そもそも入手するのに極めて高価である。
本研究では,ノイズの多い学習データから,クリーン分布のスコアベース生成モデルを概ね学習するためのアプローチを提案する。
本研究では,Steinの非バイアスリスク推定を利用した新たな損失関数の定式化と正当化を行い,ノイズのあるサンプルのみを使用しながら,スコアマッチングによるスコア関数の学習を行う。
圧縮型無線多重入力多重出力チャネル推定法と高速化型2次元マルチコイル磁気共鳴画像再構成法をそれぞれ0dbと10dbの信号対雑音比で学習した場合の競合的再構成性能を示す。
関連論文リスト
- Score-based Generative Models with Adaptive Momentum [40.84399531998246]
変換過程を高速化する適応運動量サンプリング法を提案する。
提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
論文 参考訳(メタデータ) (2024-05-22T15:20:27Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳(メタデータ) (2023-11-27T06:19:50Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Failure-informed adaptive sampling for PINNs, Part II: combining with
re-sampling and subset simulation [6.9476677480730125]
本稿では,FI-PINNの2つの拡張について述べる。
最初の拡張は再サンプリング技術と組み合わせることで、新しいアルゴリズムは一定のトレーニングサイズを維持することができる。
2つ目の拡張は、サブセットシミュレーションアルゴリズムを、エラーインジケータを推定するための後続モデルとして提示することである。
論文 参考訳(メタデータ) (2023-02-03T04:05:06Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Score-based diffusion models for accelerated MRI [35.3148116010546]
本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。
我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
論文 参考訳(メタデータ) (2021-10-08T08:42:03Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。