論文の概要: Ctrl123: Consistent Novel View Synthesis via Closed-Loop Transcription

• arxiv url: http://arxiv.org/abs/2403.10953v2
• Date: Sat, 22 Jun 2024 01:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 01:22:15.471171
• Title: Ctrl123: Consistent Novel View Synthesis via Closed-Loop Transcription
• Title（参考訳）: Ctrl123: クローズドループ転写による新規なビュー合成
• Authors: Hongxiang Zhao, Xili Dai, Jianan Wang, Shengbang Tong, Jingyuan Zhang, Weida Wang, Lei Zhang, Yi Ma,
• Abstract要約: 新規ビュー合成(NVS)における画像拡散モデルによるゼロショット能力の実証 既存の拡散に基づくNVS法は、対応する真実のポーズや外観と正確に一致した新しいビューを生成するのに苦労する。 そこで我々はCtrl123を提案する。Ctrl123はクローズドループの転写に基づくNVS拡散法で、生成したビューとグラウンドの真実をポーズに敏感な特徴空間でアライメントする。
• 参考スコア（独自算出の注目度）: 23.517622316025772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large image diffusion models have demonstrated zero-shot capability in novel view synthesis (NVS). However, existing diffusion-based NVS methods struggle to generate novel views that are accurately consistent with the corresponding ground truth poses and appearances, even on the training set. This consequently limits the performance of downstream tasks, such as image-to-multiview generation and 3D reconstruction. We realize that such inconsistency is largely due to the fact that it is difficult to enforce accurate pose and appearance alignment directly in the diffusion training, as mostly done by existing methods such as Zero123. To remedy this problem, we propose Ctrl123, a closed-loop transcription-based NVS diffusion method that enforces alignment between the generated view and ground truth in a pose-sensitive feature space. Our extensive experiments demonstrate the effectiveness of Ctrl123 on the tasks of NVS and 3D reconstruction, achieving significant improvements in both multiview-consistency and pose-consistency over existing methods.
• Abstract（参考訳）: 大規模な画像拡散モデルは、新規ビュー合成(NVS)においてゼロショット機能を示した。 しかし、既存の拡散に基づくNVS法は、トレーニングセット上でも対応する真実のポーズや外観と正確に一致した新しいビューを生成するのに苦労している。 これにより、イメージ・ツー・マルチビュー生成や3D再構成といった下流タスクのパフォーマンスが制限される。 このような矛盾は主に、Zero123のような既存の手法で行われているように、拡散訓練において、正確なポーズと外観アライメントを直接強制することが困難であるという事実から生じている。 この問題を解決するために、我々はCtrl123を提案する。Ctrl123は、ポーズに敏感な特徴空間において、生成されたビューと地上の真実との間のアライメントを強制する、クローズドループ転写に基づくNVS拡散法である。 我々は,Ctrl123がNVSおよび3次元再構成のタスクに与える影響を実証し,既存の手法よりも多視点整合性とポーズ整合性の両方において顕著な改善を実現した。

関連論文リスト

• VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis [22.493542492218303]
  視覚的等方性3D再構成モデル (VI3DRM) は、一貫した立体空間内で動作するスパースビュー3D再構成モデルである。 セマンティック情報、色、材料特性、照明の切り離しを容易にすることで、VI3DRMは極めてリアルな画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-12T16:47:57Z)
• Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering [16.382098950820822]
  我々は、注目マップを操作することでビュー合成を強化する新しいテストタイムアプローチであるZero-to-Heroを提案する。 我々は、ソースビューからの情報を統合するために自己認識機構を変更し、形状歪みを低減する。 結果は、分散オブジェクトの多様なセットで検証された、忠実性と一貫性の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-05-29T00:58:22Z)
• ViewFusion: Towards Multi-View Consistency via Interpolated Denoising [48.02829400913904]
  既存のトレーニング済み拡散モデルにシームレスに統合可能なトレーニングフリーアルゴリズムであるViewFusionを導入する。 提案手法では,事前生成したビューを,次のビュー生成のコンテキストとして暗黙的に活用する自動回帰手法を採用する。 我々のフレームワークは、追加の微調整なしで複数ビュー条件設定で機能するように、単一ビュー条件付きモデルをうまく拡張しました。
  論文  参考訳（メタデータ） (2024-02-29T04:21:38Z)
• Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation [28.079441901818296]
  我々は,粒度の細かい視野の整合性を明示したNeRF(Neural Radiance Fields)のテキスト・ツー・3D手法を提案する。 本手法は,既存のテキスト・ツー・3D法に対して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T01:09:49Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Consistent123: Improve Consistency for One Image to 3D Object Synthesis [74.1094516222327]
  大規模な画像拡散モデルは、高品質で優れたゼロショット機能を備えた新規なビュー合成を可能にする。 これらのモデルは、ビュー一貫性の保証がなく、3D再構成や画像から3D生成といった下流タスクのパフォーマンスが制限される。 本稿では,新しい視点を同時に合成するConsistent123を提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:38:28Z)
• Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
  NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。 光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
  論文  参考訳（メタデータ） (2023-09-20T03:27:06Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。