論文の概要: Viewpoint Textual Inversion: Unleashing Novel View Synthesis with Pretrained 2D Diffusion Models

• arxiv url: http://arxiv.org/abs/2309.07986v1
• Date: Thu, 14 Sep 2023 18:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 16:53:26.867453
• Title: Viewpoint Textual Inversion: Unleashing Novel View Synthesis with Pretrained 2D Diffusion Models
• Title（参考訳）: 視点テキストインバージョン:事前学習した2次元拡散モデルを用いた新しい視点合成
• Authors: James Burgess, Kuan-Chieh Wang, and Serena Yeung
• Abstract要約: 安定拡散のような2次元画像拡散モデルにおいて3次元知識が符号化されていることを示す。 提案手法であるViewNeTIは,凍結拡散モデルから生成した画像中の物体の3次元視点を制御する。
• 参考スコア（独自算出の注目度）: 13.760540874218705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models understand spatial relationship between objects, but do they represent the true 3D structure of the world from only 2D supervision? We demonstrate that yes, 3D knowledge is encoded in 2D image diffusion models like Stable Diffusion, and we show that this structure can be exploited for 3D vision tasks. Our method, Viewpoint Neural Textual Inversion (ViewNeTI), controls the 3D viewpoint of objects in generated images from frozen diffusion models. We train a small neural mapper to take camera viewpoint parameters and predict text encoder latents; the latents then condition the diffusion generation process to produce images with the desired camera viewpoint. ViewNeTI naturally addresses Novel View Synthesis (NVS). By leveraging the frozen diffusion model as a prior, we can solve NVS with very few input views; we can even do single-view novel view synthesis. Our single-view NVS predictions have good semantic details and photorealism compared to prior methods. Our approach is well suited for modeling the uncertainty inherent in sparse 3D vision problems because it can efficiently generate diverse samples. Our view-control mechanism is general, and can even change the camera view in images generated by user-defined prompts.
• Abstract（参考訳）: テキストと画像の拡散モデルはオブジェクト間の空間的関係を理解するが、それは2次元の監督だけで世界の真の3次元構造を表現するのか? 3次元知識が安定拡散のような2次元画像拡散モデルにエンコードされていることを実証し,この構造を3次元視覚タスクに活用できることを示す。 提案手法であるviewnetiは,凍結拡散モデルを用いて生成画像中の物体の3次元的視点を制御する。 我々は、小さなニューラルマッパーを訓練して、カメラの視点パラメータを抽出し、テキストエンコーダの潜伏者を予測し、潜伏者は拡散生成過程を条件とし、所望のカメラの視点で画像を生成する。 ViewNeTIはノベルビュー合成(NVS)を自然に扱う。 凍結拡散モデルを先行として活用することにより,入力ビューの少ないNVSを解くことができ,単一ビューの新規ビュー合成も可能である。 単視点NVS予測は,従来の手法に比べてセマンティックディテールとフォトリアリズムが優れている。 本手法は,多様なサンプルを効率よく生成できるため,スパース3次元視覚問題に固有の不確かさをモデル化するのに適している。 我々のビューコントロール機構は一般的であり、ユーザ定義のプロンプトによって生成された画像のカメラビューも変更できる。

関連論文リスト

• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
  潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。 我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。 これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
  論文  参考訳（メタデータ） (2023-11-22T18:25:51Z)
• Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
  本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。 我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。 実験結果を実証し,本手法の有効性について考察する。
  論文  参考訳（メタデータ） (2023-09-07T08:14:46Z)
• Viewset Diffusion: (0-)Image-Conditioned 3D Generative Models from 2D Data [76.38261311948649]
  Viewset Diffusionは拡散に基づくジェネレータで、3Dオブジェクトを出力する。 拡散モデルをトレーニングし、ビューセットを生成するが、ニューラルネットワークジェネレータを設計し、内部で対応する3Dモデルを再構成する。 モデルはフィードフォワード方式で効率的に再構成を行い、ビューセット当たり3ビューのレンダリング損失のみを用いてトレーニングされる。
  論文  参考訳（メタデータ） (2023-06-13T16:18:51Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• Recognizing Scenes from Novel Viewpoints [99.90914180489456]
  人間は、少数の2Dビューから3Dのシーンを知覚することができる。AIエージェントは、少数の画像しか持たない任意の視点からシーンを認識することで、シーンとそのオブジェクトと効率的に対話することができる。 本稿では,新しいシーンのいくつかのRGB画像を入力として取り込んで,そのシーンを意味カテゴリーに分類することで,新たな視点から認識するモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:40Z)
• CoCoNets: Continuous Contrastive 3D Scene Representations [21.906643302668716]
  本稿では,RGBとRGB-Dの画像とビデオから非モーダルな3D特徴表現を自己監督的に学習する。 得られた3次元視覚特徴表現は,オブジェクトやシーンにまたがって効果的にスケールし,入力視点から逸脱した情報を想像し,時間とともにオブジェクトを追跡し,意味的に関連したオブジェクトを3dで調整し,3dオブジェクト検出を改善する。
  論文  参考訳（メタデータ） (2021-04-08T15:50:47Z)
• Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision [26.885846254261626]
  連続オブジェクト表現ネットワーク(Continuous Object Representation Networks、CORN)は、入力画像の幾何学と外観を3D一貫したシーン表現にマッピングする条件付きアーキテクチャである。 CORNは、新しいビューの合成やシングルビューの3D再構成、そして直接監督を使用する最先端のアプローチに匹敵するパフォーマンスといった挑戦的なタスクでうまく機能する。
  論文  参考訳（メタデータ） (2020-07-30T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。