論文の概要: Blocks2World: Controlling Realistic Scenes with Editable Primitives

• arxiv url: http://arxiv.org/abs/2307.03847v1
• Date: Fri, 7 Jul 2023 21:38:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 17:06:21.023809
• Title: Blocks2World: Controlling Realistic Scenes with Editable Primitives
• Title（参考訳）: Blocks2World: 編集可能なプリミティブでリアルなシーンを制御する
• Authors: Vaibhav Vavilala, Seemandhar Jain, Rahul Vasanth, Anand Bhattad, David Forsyth
• Abstract要約: 我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。 本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 5.541644538483947
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present Blocks2World, a novel method for 3D scene rendering and editing that leverages a two-step process: convex decomposition of images and conditioned synthesis. Our technique begins by extracting 3D parallelepipeds from various objects in a given scene using convex decomposition, thus obtaining a primitive representation of the scene. These primitives are then utilized to generate paired data through simple ray-traced depth maps. The next stage involves training a conditioned model that learns to generate images from the 2D-rendered convex primitives. This step establishes a direct mapping between the 3D model and its 2D representation, effectively learning the transition from a 3D model to an image. Once the model is fully trained, it offers remarkable control over the synthesis of novel and edited scenes. This is achieved by manipulating the primitives at test time, including translating or adding them, thereby enabling a highly customizable scene rendering process. Our method provides a fresh perspective on 3D scene rendering and editing, offering control and flexibility. It opens up new avenues for research and applications in the field, including authoring and data augmentation.
• Abstract（参考訳）: 画像の凸分解と条件付き合成という2段階のプロセスを活用する3次元シーンレンダリングと編集の新しい手法であるBlocks2Worldを提案する。 提案手法は,コンベックス分解を用いて各シーンの様々な物体から3次元並列入力を抽出し,シーンの原始表現を得る。 これらのプリミティブは、単純な線追跡深度マップを通してペアデータを生成するために使用される。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。 このステップは、3Dモデルとその2D表現を直接マッピングし、3Dモデルから画像への遷移を効果的に学習する。 モデルが完全に訓練されると、新しいシーンと編集されたシーンの合成を著しく制御する。 これはテスト時にプリミティブを操作し、翻訳や追加を行い、高度にカスタマイズ可能なシーンレンダリングプロセスを可能にすることで実現される。 本手法は,3次元シーンのレンダリングと編集,制御と柔軟性を提供する。 この分野における研究と応用のための新たな道を開き、オーサリングやデータ拡張も行っている。

関連論文リスト

• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Sketch2CADScript: 3D Scene Reconstruction from 2D Sketch using Visual Transformer and Rhino Grasshopper [0.0]
  これらの問題に対処する新しい3D再構成手法を提案する。 我々は、単一のワイヤフレーム画像から"シーン記述子"を予測するために、視覚変換器を訓練した。 予測パラメータでは、BlenderやGrasshopperといった3Dモデリングソフトウェアを使用して、3Dシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-28T21:02:04Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• 3inGAN: Learning a 3D Generative Model from Images of a Self-similar Scene [34.2144933185175]
  3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。 実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
  論文  参考訳（メタデータ） (2022-11-27T18:03:21Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。