論文の概要: Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems

• arxiv url: http://arxiv.org/abs/2407.10641v1
• Date: Mon, 15 Jul 2024 12:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:31:11.845133
• Title: Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems
• Title（参考訳）: 3次元逆問題におけるOOD適応の高精度化に先立つ深部拡散画像
• Authors: Hyungjin Chung, Jong Chul Ye,
• Abstract要約: 本稿では,従来のディープイメージに形式的な接続を導入することで,最近のSCD適応法を一般化するDDIPを提案する。 本稿では,D3IPと呼ばれる3次元計測のための効率的な適応手法を提案し,DDIPを桁違いに高速化する。 本手法は, 学習対象とは大きく異なるファントム画像のみを用いて, 事前学習した生成的画像から多種多様な3次元再構成タスクを解くことができることを示す。
• 参考スコア（独自算出の注目度）: 61.85478918618346
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent inverse problem solvers that leverage generative diffusion priors have garnered significant attention due to their exceptional quality. However, adaptation of the prior is necessary when there exists a discrepancy between the training and testing distributions. In this work, we propose deep diffusion image prior (DDIP), which generalizes the recent adaptation method of SCD by introducing a formal connection to the deep image prior. Under this framework, we propose an efficient adaptation method dubbed D3IP, specified for 3D measurements, which accelerates DDIP by orders of magnitude while achieving superior performance. D3IP enables seamless integration of 3D inverse solvers and thus leads to coherent 3D reconstruction. Moreover, we show that meta-learning techniques can also be applied to yield even better performance. We show that our method is capable of solving diverse 3D reconstructive tasks from the generative prior trained only with phantom images that are vastly different from the training set, opening up new opportunities of applying diffusion inverse solvers even when training with gold standard data is impossible. Code: https://github.com/HJ-harry/DDIP3D
• Abstract（参考訳）: 近年の逆問題解法は, 遺伝的拡散に先立って, 異常な品質のため, 顕著な注目を集めている。 しかし、トレーニングとテストの分布に相違がある場合には、事前の適応が必要である。 本研究では,SCDの最近の適応法を一般化したDepdiffed image prior (DDIP)を提案する。 そこで本研究では,D3IPと呼ばれる3次元計測のための効率的な適応手法を提案し,DDIPを桁違いに高速化し,優れた性能を実現する。 D3IPは3次元逆ソルバのシームレスな統合を可能にし、コヒーレントな3次元再構成を実現する。 さらに,メタラーニング手法を応用して,より優れた性能が得られることを示す。 本手法は, 金標準データを用いたトレーニングが不可能な場合でも, 学習セットと大きく異なるファントム画像のみを用いて, 予め訓練した生成画像から多種多様な3次元再構成タスクを解くことができることを示す。 コード:https://github.com/HJ-harry/DDIP3D

関連論文リスト

• These Maps Are Made by Propagation: Adapting Deep Stereo Networks to Road Scenarios with Decisive Disparity Diffusion [25.48602334013716]
  本稿では,決定的不均衡拡散(D3Stereo)を紹介する。 これは、事前訓練されたディープ畳み込みニューラルネットワーク(DCNN)を、これまで見つからなかった道路シナリオに適応させる、ディープ特徴マッチングの最初の調査である。 D3Stereoの重要な革新は、その決定的な格差拡散戦略の交互化にある。
  論文  参考訳（メタデータ） (2024-11-06T07:30:34Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• TriPlaneNet: An Encoder for EG3D Inversion [1.9567015559455132]
  NeRFをベースとしたGANは、人間の頭部の高分解能かつ高忠実な生成モデリングのための多くのアプローチを導入している。 2D GANインバージョンのための普遍的最適化に基づく手法の成功にもかかわらず、3D GANに適用された手法は、結果を新しい視点に外挿することができないかもしれない。 本稿では,EG3D生成モデルに提示された3面表現を直接利用することにより,両者のギャップを埋める高速な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:20Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
  拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。 そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。 提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-11-19T10:32:21Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。