論文の概要: Scene-Conditional 3D Object Stylization and Composition

• arxiv url: http://arxiv.org/abs/2312.12419v1
• Date: Tue, 19 Dec 2023 18:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 14:27:02.867808
• Title: Scene-Conditional 3D Object Stylization and Composition
• Title（参考訳）: シーンコンディショナル3dオブジェクトのスタイライゼーションと構成
• Authors: Jinghao Zhou, Tomas Jakab, Philip Torr, Christian Rupprecht
• Abstract要約: 3D生成モデルは驚くべき進歩を遂げており、テキストや画像入力からほぼ任意の3Dアセットを生成することができる。 本稿では,既存の3Dアセットのスタイル化を与えられた2Dシーンに適合させるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.120066605881448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, 3D generative models have made impressive progress, enabling the generation of almost arbitrary 3D assets from text or image inputs. However, these approaches generate objects in isolation without any consideration for the scene where they will eventually be placed. In this paper, we propose a framework that allows for the stylization of an existing 3D asset to fit into a given 2D scene, and additionally produce a photorealistic composition as if the asset was placed within the environment. This not only opens up a new level of control for object stylization, for example, the same assets can be stylized to reflect changes in the environment, such as summer to winter or fantasy versus futuristic settings-but also makes the object-scene composition more controllable. We achieve this by combining modeling and optimizing the object's texture and environmental lighting through differentiable ray tracing with image priors from pre-trained text-to-image diffusion models. We demonstrate that our method is applicable to a wide variety of indoor and outdoor scenes and arbitrary objects.
• Abstract（参考訳）: 近年、3D生成モデルは顕著な進歩を遂げており、テキストや画像からのほぼ任意の3Dアセットの生成を可能にしている。 しかし、これらのアプローチは、最終的に配置されるシーンを考慮せずに、独立したオブジェクトを生成する。 本稿では,既存の3dアセットのスタイライゼーションを所定の2dシーンに適合させるとともに,アセットを環境内に配置したかのようにフォトリアリスティックなコンポジションを作成するための枠組みを提案する。 これは、オブジェクトスタイリングの新しいレベルのコントロールを開放するだけでなく、例えば、夏から冬、幻想的な設定と未来的な設定といった環境の変化を反映するために、同じ資産をスタイリングすることができる。 本研究では,事前学習したテキストから画像への拡散モデルによる画像先行と微分可能なレイトレーシングによる物体のテクスチャと環境照明のモデル化と最適化を組み合わせることで,これを実現する。 本手法は屋内および屋外の様々なシーンや任意のオブジェクトに適用可能であることを実証する。

関連論文リスト

• Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting [47.014044892025346]
  Architectは、拡散ベースの2Dイメージのインペイントを活用する、複雑で現実的な3Dエボダイド環境を作成する、生成フレームワークである。 我々のパイプラインはさらに階層的かつ反復的な塗装プロセスに拡張され、大きな家具や小さな物体の配置を連続的に生成し、シーンを豊かにする。
  論文  参考訳（メタデータ） (2024-11-14T22:15:48Z)
• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• Neural Assets: 3D-Aware Multi-Object Scene Synthesis with Image Diffusion Models [32.51506331929564]
  本研究では,物体ごとの表現,ニューラルアセットを用いてシーン内の個々の物体の3次元ポーズを制御することを提案する。 本モデルでは,合成3次元シーンデータセットと実世界の2つのビデオデータセットを用いて,最先端のマルチオブジェクト編集結果を実現する。
  論文  参考訳（メタデータ） (2024-06-13T16:29:18Z)
• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects [84.45345829270626]
  制御可能な3D屋内シーン合成は、技術進歩の最前線にある。 シーンスタイリングの現在の手法は、シーン全体にスタイルを適用することに限定されている。 室内3Dシーンを合成するためのユニークなパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-24T03:10:36Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting [57.14748263512924]
  CG3Dは、スケーラブルな3Dアセットを合成的に生成する手法である。 ガンマ放射場は、オブジェクトの合成を可能にするためにパラメータ化され、意味的および物理的に一貫したシーンを可能にする能力を持っている。
  論文  参考訳（メタデータ） (2023-11-29T18:55:38Z)
• Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields [26.85599376826124]
  我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。 入力シーンに3次元ROIボックスを配置することで局所的な編集を可能にし、ROI内で合成されたコンテンツを既存のシーンとブレンドする。 シーンに新しいオブジェクトを追加すること、既存のオブジェクトを削除/変更すること、テクスチャ変換など、いくつかの3D編集アプリケーションのためのフレームワークを示す。
  論文  参考訳（メタデータ） (2023-06-22T09:34:55Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。