論文の概要: UpFusion: Novel View Diffusion from Unposed Sparse View Observations

• arxiv url: http://arxiv.org/abs/2312.06661v2
• Date: Thu, 4 Jan 2024 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 16:54:37.774509
• Title: UpFusion: Novel View Diffusion from Unposed Sparse View Observations
• Title（参考訳）: UpFusion: 未観測のスパースビューからの新しいビュー拡散
• Authors: Bharath Raj Nagoor Kani, Hsin-Ying Lee, Sergey Tulyakov, Shubham Tulsiani
• Abstract要約: UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 66.36092764694502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose UpFusion, a system that can perform novel view synthesis and infer 3D representations for an object given a sparse set of reference images without corresponding pose information. Current sparse-view 3D inference methods typically rely on camera poses to geometrically aggregate information from input views, but are not robust in-the-wild when such information is unavailable/inaccurate. In contrast, UpFusion sidesteps this requirement by learning to implicitly leverage the available images as context in a conditional generative model for synthesizing novel views. We incorporate two complementary forms of conditioning into diffusion models for leveraging the input views: a) via inferring query-view aligned features using a scene-level transformer, b) via intermediate attentional layers that can directly observe the input image tokens. We show that this mechanism allows generating high-fidelity novel views while improving the synthesis quality given additional (unposed) images. We evaluate our approach on the Co3Dv2 and Google Scanned Objects datasets and demonstrate the benefits of our method over pose-reliant sparse-view methods as well as single-view methods that cannot leverage additional views. Finally, we also show that our learned model can generalize beyond the training categories and even allow reconstruction from self-captured images of generic objects in-the-wild.
• Abstract（参考訳）: 本稿では,参照画像のスパースセットが与えられたオブジェクトに対して,対応するポーズ情報なしで新しいビュー合成と3次元表現を推論できるUpFusionを提案する。 現在のスパースビュー3D推論法は、通常、入力ビューからの情報を幾何学的に集約するためにカメラのポーズに依存するが、そのような情報が利用できない/不正確な場合には、その内部で堅牢ではない。 対照的にupfusionは、新しいビューを合成するための条件付き生成モデルにおいて、利用可能なイメージをコンテキストとして暗黙的に活用することで、この要件を回避している。 入力ビューを利用した拡散モデルにコンディショニングの相補的な形式を2つ取り入れる。 a) シーンレベルのトランスフォーマを使用してクエリビューアラインメント機能を推論することにより b) 入力画像トークンを直接観察できる中間の注意層を介して。 この機構により高精細な新奇なビューを生成できると同時に、付加的な(想定外の)画像の合成品質を向上させることができる。 我々は、Co3Dv2およびGoogle Scanned Objectsデータセットに対するアプローチを評価し、追加のビューを活用できない単一ビューメソッドと同様に、ポーズ-リライアントなスパースビューメソッドよりも、メソッドの利点を実証する。 最後に,学習モデルがトレーニングカテゴリを超えた一般化が可能であり,さらに汎用オブジェクトの自己取得画像からの再構成も可能となることを示した。

関連論文リスト

• FSViewFusion: Few-Shots View Generation of Novel Objects [75.81872204650807]
  本研究では,3次元前処理を伴わないビュー合成のための事前訓練された安定拡散モデルを提案する。 具体的には,Dreamboothという画像モデルを用いたパーソナライズされたテキストに基づく手法を提案する。 ビューの概念は、ビューが学習された元のオブジェクトの識別に関係なく、アンタングル化され、新しいオブジェクトに転送可能であることを確認します。
  論文  参考訳（メタデータ） (2024-03-11T02:59:30Z)
• HawkI: Homography & Mutual Information Guidance for 3D-free Single Image to Aerial View [67.8213192993001]
  本稿では,テキストと模範画像から空中視像を合成するためのHawkeIを提案する。 HawkIは、予め訓練されたテキストから2次元の安定拡散モデルに入力画像からの視覚的特徴をブレンドする。 推測において、HawkeIは、入力画像の意味的詳細を忠実に複製するために生成されたイメージを操るために、ユニークな相互情報ガイダンスの定式化を用いる。
  論文  参考訳（メタデータ） (2023-11-27T01:41:25Z)
• Consistent-1-to-3: Consistent Image to 3D View Synthesis via Geometry-aware Diffusion Models [16.326276673056334]
  Consistent-1-to-3は、この問題を著しく緩和する生成フレームワークである。 我々はNVSタスクを,(i)観察された領域を新しい視点に変換する,(ii)見えない領域を幻覚させる,の2つの段階に分解する。 本稿では,幾何制約を取り入れ,多視点情報をよりよく集約するための多視点アテンションとして,エピポラ誘導型アテンションを用いることを提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:58:57Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• AutoRF: Learning 3D Object Radiance Fields from Single View Observations [17.289819674602295]
  AutoRFは、トレーニングセットの各オブジェクトが単一のビューでのみ観察される、ニューラルな3Dオブジェクト表現を学ぶための新しいアプローチである。 提案手法は,現実の街路シーンに挑戦するさまざまなデータセットであっても,見えない物体に対してうまく一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:13:39Z)
• Learning Implicit 3D Representations of Dressed Humans from Sparse Views [31.584157304372425]
  本論文では,スパースなカメラビューから服姿の人間の暗黙的な3D表現を学習するエンドツーエンドのアプローチを提案する。 実験では, 提案手法が, 定量的・定性的に標準データに対する技術水準を上回っていることを示した。
  論文  参考訳（メタデータ） (2021-04-16T10:20:26Z)
• Shelf-Supervised Mesh Prediction in the Wild [54.01373263260449]
  本研究では,物体の3次元形状とポーズを1つの画像から推定する学習手法を提案する。 まず、カメラのポーズとともに、標準フレーム内の体積表現を推定する。 粗い体積予測はメッシュベースの表現に変換され、予測されたカメラフレームでさらに洗練される。
  論文  参考訳（メタデータ） (2021-02-11T18:57:10Z)
• AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation [27.163052958878776]
  本稿では,ポーズ・インスペクションを伴わない単一の2次元画像から学習に基づく新規ビュー・シンセサイザーを目標とする。 本研究では,学習済みの相対的目的/回転と暗黙的グローバルな3次元表現を両立させるために,エンドツーエンドの訓練可能な条件変分フレームワークを構築した。 本システムでは,3次元再構成を明示的に行うことなく,暗黙的に3次元理解を行うことができる。
  論文  参考訳（メタデータ） (2020-07-13T18:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。