論文の概要: Volumetric Disentanglement for 3D Scene Manipulation

• arxiv url: http://arxiv.org/abs/2206.02776v1
• Date: Mon, 6 Jun 2022 17:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:08:54.808603
• Title: Volumetric Disentanglement for 3D Scene Manipulation
• Title（参考訳）: 3次元シーンマニピュレーションのためのボリュームアンタングルメント
• Authors: Sagie Benaim, Frederik Warburg, Peter Ebert Christensen, Serge Belongie
• Abstract要約: 本研究では,前景オブジェクトを背景から切り離したり分離したりするためのボリューム・フレームワークを提案し,前景オブジェクトを背景だけでなく意味的に操作する。 筆者らのフレームワークは,望まれる前景オブジェクトを指定する2次元マスクと関連する2次元ビューとポーズを入力として,前景のゆがみを生成する。 その後、オブジェクト・カモフラージュ、非負の3Dオブジェクト・インペインティング、3Dオブジェクト・インペインティング、3Dテキスト・ベースなど、多数の下流操作タスクに対するフレームワークの適用性を実証した。
• 参考スコア（独自算出の注目度）: 22.22326242219791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, advances in differential volumetric rendering enabled significant breakthroughs in the photo-realistic and fine-detailed reconstruction of complex 3D scenes, which is key for many virtual reality applications. However, in the context of augmented reality, one may also wish to effect semantic manipulations or augmentations of objects within a scene. To this end, we propose a volumetric framework for (i) disentangling or separating, the volumetric representation of a given foreground object from the background, and (ii) semantically manipulating the foreground object, as well as the background. Our framework takes as input a set of 2D masks specifying the desired foreground object for training views, together with the associated 2D views and poses, and produces a foreground-background disentanglement that respects the surrounding illumination, reflections, and partial occlusions, which can be applied to both training and novel views. Our method enables the separate control of pixel color and depth as well as 3D similarity transformations of both the foreground and background objects. We subsequently demonstrate the applicability of our framework on a number of downstream manipulation tasks including object camouflage, non-negative 3D object inpainting, 3D object translation, 3D object inpainting, and 3D text-based object manipulation. Full results are given in our project webpage at https://sagiebenaim.github.io/volumetric-disentanglement/
• Abstract（参考訳）: 近年、ディファレンシャルボリュームレンダリングの進歩は、複雑な3dシーンのフォトリアリスティックで細分化された再構成において大きなブレークスルーをもたらした。 しかし、拡張現実の文脈では、シーン内のオブジェクトの意味的操作や拡張に影響を与えようとすることもある。 そこで,本稿ではボリュームフレームワークを提案する。 (一 所定の前景物の容積表現を背景から離す又は分離すること。) (ii)前景のオブジェクトと背景を意味的に操作すること。 本フレームワークは,学習対象を指定した2次元マスクと関連する2次元ビューとポーズを合わせて入力し,周囲の照明,反射,部分的な閉塞を尊重する前景のゆがみを生成し,トレーニングと新規のビューの両方に適用することができる。 本手法は,前景および背景オブジェクトの3次元類似度変換とともに,画素色と奥行きの分離制御を可能にする。 続いて,オブジェクトカモフラージュ,非負の3dオブジェクトインペインティング,3dオブジェクト変換,3dオブジェクトインペインティング,3dテキストベースのオブジェクト操作など,多数の下流操作タスクにおけるフレームワークの適用性を示す。 完全な結果はプロジェクトのWebページhttps://sagiebenaim.github.io/volumetric-disentanglement/にある。

関連論文リスト

• Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes [50.317223783035075]
  単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。 詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。 私たちのコードとモデルは公開されます。
  論文  参考訳（メタデータ） (2022-07-18T14:54:57Z)
• Style Agnostic 3D Reconstruction via Adversarial Style Transfer [23.304453155586312]
  物体の3次元形状を画像から再構成することは、コンピュータビジョンにおける大きな課題である。 本研究では,背景を持つ画像から3次元物体を識別可能な学習法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T21:24:44Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• Sparse Pose Trajectory Completion [87.31270669154452]
  サンプルの少ないビューにのみオブジェクトが出現するデータセットを使用しても学習する方法を提案する。 これはクロスモーダルポーズ軌道伝達機構によって実現される。 この手法はPix3DおよびShapeNetデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-05-01T00:07:21Z)
• Holistic 3D Scene Understanding from a Single Image with Implicit Representation [112.40630836979273]
  単一の画像から全体的3Dシーン理解のための新しいパイプラインを提示する。 画像に基づく局所構造化暗黙ネットワークを提案し,物体形状推定を改善する。 また,新たな暗黙的なシーングラフニューラルネットワークを用いて3dオブジェクトのポーズとシーンレイアウトを洗練する。
  論文  参考訳（メタデータ） (2021-03-11T02:52:46Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled Images [38.952307525311625]
  画像生成モデルであるBlockGANについて述べる。 コンピュータグラフィックスパイプラインにインスパイアされた我々は、BlockGANを設計し、まず背景と前景の3D機能を生成し、それらを全体の3D機能に組み合わせることを学ぶ。
  論文  参考訳（メタデータ） (2020-02-20T19:41:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。