論文の概要: Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes

• arxiv url: http://arxiv.org/abs/2303.13450v1
• Date: Thu, 23 Mar 2023 17:17:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 13:24:30.623228
• Title: Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes
• Title（参考訳）: set-the-scene: 制御可能なnerfシーン生成のためのグローバルローカルトレーニング
• Authors: Dana Cohen-Bar, Elad Richardson, Gal Metzer, Raja Giryes, Daniel Cohen-Or
• Abstract要約: オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
• 参考スコア（独自算出の注目度）: 68.14127205949073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent breakthroughs in text-guided image generation have led to remarkable progress in the field of 3D synthesis from text. By optimizing neural radiance fields (NeRF) directly from text, recent methods are able to produce remarkable results. Yet, these methods are limited in their control of each object's placement or appearance, as they represent the scene as a whole. This can be a major issue in scenarios that require refining or manipulating objects in the scene. To remedy this deficit, we propose a novel GlobalLocal training framework for synthesizing a 3D scene using object proxies. A proxy represents the object's placement in the generated scene and optionally defines its coarse geometry. The key to our approach is to represent each object as an independent NeRF. We alternate between optimizing each NeRF on its own and as part of the full scene. Thus, a complete representation of each object can be learned, while also creating a harmonious scene with style and lighting match. We show that using proxies allows a wide variety of editing options, such as adjusting the placement of each independent object, removing objects from a scene, or refining an object. Our results show that Set-the-Scene offers a powerful solution for scene synthesis and manipulation, filling a crucial gap in controllable text-to-3D synthesis.
• Abstract（参考訳）: テキスト誘導画像生成の最近の進歩は、テキストからの3D合成の分野において顕著な進歩をもたらした。 テキストから直接ニューラルレイディアンス場(NeRF)を最適化することにより、最近の手法は顕著な結果をもたらすことができる。 しかし、これらの手法はシーン全体を表現しているため、それぞれの物体の位置や外観の制御に制限がある。 これは、シーン内のオブジェクトの精製や操作を必要とするシナリオにおいて大きな問題となる可能性がある。 この欠点を補うために,オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシは生成されたシーンにおけるオブジェクトの配置を表し、オプションで粗い幾何学を定義する。 このアプローチの鍵は、各オブジェクトを独立したNeRFとして表現することです。 それぞれのNeRFをそれ自身で最適化することと、フルシーンの一部とを交互に行います。 これにより、各オブジェクトの完全な表現を学習し、スタイルと照明が一致した調和したシーンを作成することができる。 プロキシを使用することで,各独立したオブジェクトの配置調整やシーンからのオブジェクトの削除,オブジェクトの洗練など,さまざまな編集オプションが可能になる。 その結果,Set-the-Sceneはシーン合成と操作の強力なソリューションであり,制御可能なテキストから3D合成において重要なギャップを埋めていることがわかった。

関連論文リスト

• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects [84.45345829270626]
  制御可能な3D屋内シーン合成は、技術進歩の最前線にある。 シーンスタイリングの現在の手法は、シーン全体にスタイルを適用することに限定されている。 室内3Dシーンを合成するためのユニークなパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-24T03:10:36Z)
• LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
  運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2023-04-06T17:59:25Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields [45.21191307444531]
  深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。
  論文  参考訳（メタデータ） (2020-11-24T14:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。