論文の概要: Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision

• arxiv url: http://arxiv.org/abs/2306.11719v1
• Date: Tue, 20 Jun 2023 17:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 13:06:08.866799
• Title: Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision
• Title（参考訳）: 前方モデルとの拡散:直接スーパービジョンのない確率的逆問題の解法
• Authors: Ayush Tewari, Tianwei Yin, George Cazenavette, Semon Rezchikov, Joshua B. Tenenbaum, Fr\'edo Durand, William T. Freeman, Vincent Sitzmann
• Abstract要約: 本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。 コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 69.01399514712732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion models are a powerful type of generative models used to capture complex distributions of real-world signals. However, their applicability is limited to scenarios where training samples are readily available, which is not always the case in real-world applications. For example, in inverse graphics, the goal is to generate samples from a distribution of 3D scenes that align with a given image, but ground-truth 3D scenes are unavailable and only 2D images are accessible. To address this limitation, we propose a novel class of denoising diffusion probabilistic models that learn to sample from distributions of signals that are never directly observed. Instead, these signals are measured indirectly through a known differentiable forward model, which produces partial observations of the unknown signal. Our approach involves integrating the forward model directly into the denoising process. This integration effectively connects the generative modeling of observations with the generative modeling of the underlying signals, allowing for end-to-end training of a conditional generative model over signals. During inference, our approach enables sampling from the distribution of underlying signals that are consistent with a given partial observation. We demonstrate the effectiveness of our method on three challenging computer vision tasks. For instance, in the context of inverse graphics, our model enables direct sampling from the distribution of 3D scenes that align with a single 2D input image.
• Abstract（参考訳）: デノイジング拡散モデルは実世界の信号の複雑な分布を捉えるために使用される強力な生成モデルである。 しかし、それらの適用性はトレーニングサンプルが容易に利用できるシナリオに限られており、実際のアプリケーションでは必ずしもそうではない。 例えば、逆グラフィックスでは、与えられた画像と一致する3dシーンの分布からサンプルを生成することが目標だが、地上の3dシーンは使用できず、2dイメージのみがアクセス可能である。 この制限に対処するために, 直接観測されない信号の分布からサンプルを収集することを学ぶ, 分散確率モデルの新しいクラスを提案する。 代わりに、これらの信号は、未知の信号の部分的な観測を生成する既知の微分可能前方モデルを通して間接的に測定される。 我々のアプローチは、フォワードモデルをデノイジングプロセスに直接統合することです。 この統合は、観測の生成モデルと基礎となる信号の生成モデルとを効果的に結びつけ、信号上の条件付き生成モデルのエンドツーエンドトレーニングを可能にする。 推測中,本手法は,所定の部分観測値と一致した基礎信号の分布からのサンプリングを可能にする。 3つのコンピュータビジョン課題に対する提案手法の有効性を実証する。 例えば、逆グラフィックスの文脈では、このモデルは1つの2d入力画像に一致する3dシーンの分布から直接サンプリングすることができる。

関連論文リスト

• Glauber Generative Model: Discrete Diffusion Models via Binary Classification [21.816933208895843]
  離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。 GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。 言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T10:42:13Z)
• Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
  既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。 提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。 推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
  論文  参考訳（メタデータ） (2023-09-05T08:49:53Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• CRADL: Contrastive Representations for Unsupervised Anomaly Detection and Localization [2.8659934481869715]
  医用画像における教師なし異常検出は、訓練中に異常データを必要とせず、任意の異常を検出し、位置決めすることを目的としている。 現在の最先端の手法のほとんどは、画像上で直接動作する潜在変数生成モデルを使用している。 コントラストプレテクストタスクで訓練されたエンコーダの低次元表現空間において,正規サンプルの分布を直接モデル化するCRADLを提案する。
  論文  参考訳（メタデータ） (2023-01-05T16:07:49Z)
• DiffRF: Rendering-Guided 3D Radiance Field Diffusion [18.20324411024166]
  本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。 2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
  論文  参考訳（メタデータ） (2022-12-02T14:37:20Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)
• PixelTransformer: Sample Conditioned Signal Generation [60.764218381636184]
  本研究では,スパース試料に条件付き信号の分布を推定できる生成モデルを提案する。 逐次自己回帰生成モデルとは対照的に,任意のサンプルに対する条件付けが可能であり,任意の場所に対する分散クエリに答えることができる。
  論文  参考訳（メタデータ） (2021-03-29T17:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。