論文の概要: Fixing the Perspective: A Critical Examination of Zero-1-to-3

• arxiv url: http://arxiv.org/abs/2411.15706v1
• Date: Sun, 24 Nov 2024 04:21:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:00.710542
• Title: Fixing the Perspective: A Critical Examination of Zero-1-to-3
• Title（参考訳）: 展望の修正:Zero-1-to-3の批判的検証
• Authors: Jack Yu, Xueying Jia, Charlie Sun, Prince Wang,
• Abstract要約: 拡散2D-条件UNetの空間変換器におけるZero-1-to-3のクロスアテンション機構について検討する。 本稿では,(1)クロスアテンション機構を効果的に活用する実装の修正と,2)複数の条件ビューを同時に活用可能な拡張アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Novel view synthesis is a fundamental challenge in image-to-3D generation, requiring the generation of target view images from a set of conditioning images and their relative poses. While recent approaches like Zero-1-to-3 have demonstrated promising results using conditional latent diffusion models, they face significant challenges in generating consistent and accurate novel views, particularly when handling multiple conditioning images. In this work, we conduct a thorough investigation of Zero-1-to-3's cross-attention mechanism within the Spatial Transformer of the diffusion 2D-conditional UNet. Our analysis reveals a critical discrepancy between Zero-1-to-3's theoretical framework and its implementation, specifically in the processing of image-conditional context. We propose two significant improvements: (1) a corrected implementation that enables effective utilization of the cross-attention mechanism, and (2) an enhanced architecture that can leverage multiple conditional views simultaneously. Our theoretical analysis and preliminary results suggest potential improvements in novel view synthesis consistency and accuracy.
• Abstract（参考訳）: 新たなビュー合成は、条件付き画像とその相対的なポーズからターゲットビュー画像を生成する必要があるため、画像から3Dへの生成において根本的な課題である。 Zero-1-to-3のような最近のアプローチは、条件付き潜在拡散モデルを用いた有望な結果を示しているが、特に複数の条件付き画像を扱う場合、一貫性と正確な新規ビューを生成する上で大きな課題に直面している。 本研究では,拡散2D-条件UNetの空間変換器内におけるZero-1-to-3のクロスアテンション機構の徹底的な検討を行う。 本分析により,Zero-1-to-3の理論的枠組みと,その実装,特に画像条件コンテキストの処理における重要な相違が明らかとなった。 本稿では,(1)クロスアテンション機構を効果的に活用する実装の修正と,2)複数の条件ビューを同時に活用可能な拡張アーキテクチャを提案する。 我々の理論的分析と予備的な結果は、新しいビュー合成の一貫性と精度の潜在的な改善を示唆している。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering [16.382098950820822]
  我々は、注目マップを操作することでビュー合成を強化する新しいテストタイムアプローチであるZero-to-Heroを提案する。 我々は、ソースビューからの情報を統合するために自己認識機構を変更し、形状歪みを低減する。 結果は、分散オブジェクトの多様なセットで検証された、忠実性と一貫性の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-05-29T00:58:22Z)
• Consistent123: Improve Consistency for One Image to 3D Object Synthesis [74.1094516222327]
  大規模な画像拡散モデルは、高品質で優れたゼロショット機能を備えた新規なビュー合成を可能にする。 これらのモデルは、ビュー一貫性の保証がなく、3D再構成や画像から3D生成といった下流タスクのパフォーマンスが制限される。 本稿では,新しい視点を同時に合成するConsistent123を提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:38:28Z)
• Consistent-1-to-3: Consistent Image to 3D View Synthesis via Geometry-aware Diffusion Models [16.326276673056334]
  Consistent-1-to-3は、この問題を著しく緩和する生成フレームワークである。 我々はNVSタスクを,(i)観察された領域を新しい視点に変換する,(ii)見えない領域を幻覚させる,の2つの段階に分解する。 本稿では,幾何制約を取り入れ,多視点情報をよりよく集約するための多視点アテンションとして,エピポラ誘導型アテンションを用いることを提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:58:57Z)
• Consistent View Synthesis with Pose-Guided Diffusion Models [51.37925069307313]
  単一の画像から新しいビューを合成することは、多くのバーチャルリアリティーアプリケーションにとって画期的な問題である。 本稿では,ポーズ誘導拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-30T17:59:22Z)
• Zero-1-to-3: Zero-shot One Image to 3D Object [30.455300183998247]
  単一のRGB画像のみを与えられたオブジェクトのカメラ視点を変更するためのフレームワークであるZero-1-to-3を紹介する。 条件拡散モデルは、合成データセットを用いて、相対カメラ視点の制御を学習する。 提案手法は,インターネット規模の事前学習を活用して,最先端の1次元3次元再構成と新しいビュー合成モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-20T17:59:50Z)
• Robust Single Image Dehazing Based on Consistent and Contrast-Assisted Reconstruction [95.5735805072852]
  画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。 具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。 我々の手法は最先端のアプローチを大きく上回っている。
  論文  参考訳（メタデータ） (2022-03-29T08:11:04Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。