論文の概要: Free3D: Consistent Novel View Synthesis without 3D Representation

• arxiv url: http://arxiv.org/abs/2312.04551v2
• Date: Sat, 30 Mar 2024 06:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:45:23.959365
• Title: Free3D: Consistent Novel View Synthesis without 3D Representation
• Title（参考訳）: Free3D:3次元表現のない一貫性のある新しいビュー合成
• Authors: Chuanxia Zheng, Andrea Vedaldi,
• Abstract要約: Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
• 参考スコア（独自算出の注目度）: 63.931920010054064
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Free3D, a simple accurate method for monocular open-set novel view synthesis (NVS). Similar to Zero-1-to-3, we start from a pre-trained 2D image generator for generalization, and fine-tune it for NVS. Compared to other works that took a similar approach, we obtain significant improvements without resorting to an explicit 3D representation, which is slow and memory-consuming, and without training an additional network for 3D reconstruction. Our key contribution is to improve the way the target camera pose is encoded in the network, which we do by introducing a new ray conditioning normalization (RCN) layer. The latter injects pose information in the underlying 2D image generator by telling each pixel its viewing direction. We further improve multi-view consistency by using light-weight multi-view attention layers and by sharing generation noise between the different views. We train Free3D on the Objaverse dataset and demonstrate excellent generalization to new categories in new datasets, including OmniObject3D and GSO. The project page is available at https://chuanxiaz.com/free3d/.
• Abstract（参考訳）: 単分子開集合新規ビュー合成(NVS)のための簡易な高精度な手法であるFree3Dを紹介する。 Zero-1-to-3と同様に、我々は、一般化のための事前訓練された2Dイメージジェネレータから始め、NVSのために微調整する。 同様のアプローチを採った他の作品と比較すると,3次元の表現に頼らず,動作が遅く,メモリ消費も少なく,さらに3次元再構成のためのネットワークのトレーニングも行わないなど,大幅な改善が得られている。 我々の重要な貢献は、ターゲットカメラのポーズをネットワークにエンコードする方法を改善することであり、新しいレイコンディショニング正規化(RCN)層を導入することで実現している。 後者は、各画素の表示方向を指示することにより、基礎となる2D画像生成装置にポーズ情報を注入する。 軽量なマルチビューアテンション層を用いて、異なるビュー間で生成ノイズを共有することにより、マルチビューの一貫性をさらに向上する。 我々はObjaverseデータセット上でFree3Dをトレーニングし、OmniObject3DやGSOを含む新しいデータセットの新しいカテゴリに優れた一般化を示す。 プロジェクトのページはhttps://chuanxiaz.com/free3d/.comで公開されている。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding [16.50466940644004]
  入力としてCLIPを埋め込んだ画像のみを取り込む画像から3D生成パイプラインであるIsotropic3Dを提案する。 等方性3Dは、最適化をSDS損失のみを静止させることで、方位角の等方性w.r.t.にすることができる。
  論文  参考訳（メタデータ） (2024-03-15T15:27:58Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
  潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。 我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。 これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
  論文  参考訳（メタデータ） (2023-11-22T18:25:51Z)
• iNVS: Repurposing Diffusion Inpainters for Novel View Synthesis [45.88928345042103]
  単一ソース画像から一貫した新しいビューを生成する方法を提案する。 本手法は,画像からの可視画素の再利用を最大化することに焦点を当てる。 我々は、光源ビューからターゲットビューへ可視画素を転送する単眼深度推定器を用いる。
  論文  参考訳（メタデータ） (2023-10-24T20:33:19Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision [26.885846254261626]
  連続オブジェクト表現ネットワーク(Continuous Object Representation Networks、CORN)は、入力画像の幾何学と外観を3D一貫したシーン表現にマッピングする条件付きアーキテクチャである。 CORNは、新しいビューの合成やシングルビューの3D再構成、そして直接監督を使用する最先端のアプローチに匹敵するパフォーマンスといった挑戦的なタスクでうまく機能する。
  論文  参考訳（メタデータ） (2020-07-30T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。