論文の概要: Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask

• arxiv url: http://arxiv.org/abs/2302.07224v1
• Date: Tue, 14 Feb 2023 17:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 14:40:33.155676
• Title: Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask
• Title（参考訳）: 2dで描く3dの自然:1つの意味的マスクから自然のシーンを合成する
• Authors: Shangzhan Zhang, Sida Peng, Tianrun Chen, Linzhan Mou, Haotong Lin, Kaicheng Yu, Yiyi Liao, Xiaowei Zhou
• Abstract要約: 本稿では,自然シーンの多視点一貫したカラーイメージを合成するために,単一のセマンティックマスクを入力として利用する新しいアプローチを提案する。 提案手法は,様々な自然シーンのベースライン手法より優れ,フォトリアリスティックで多視点一貫した映像を制作する。
• 参考スコア（独自算出の注目度）: 29.38152100352871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel approach that takes a single semantic mask as input to synthesize multi-view consistent color images of natural scenes, trained with a collection of single images from the Internet. Prior works on 3D-aware image synthesis either require multi-view supervision or learning category-level prior for specific classes of objects, which can hardly work for natural scenes. Our key idea to solve this challenging problem is to use a semantic field as the intermediate representation, which is easier to reconstruct from an input semantic mask and then translate to a radiance field with the assistance of off-the-shelf semantic image synthesis models. Experiments show that our method outperforms baseline methods and produces photorealistic, multi-view consistent videos of a variety of natural scenes.
• Abstract（参考訳）: 本稿では,自然シーンの多視点に一貫性のあるカラー画像の合成を行うために,セマンティックマスクを入力として,インターネットからの単一画像の収集を訓練した新しい手法を提案する。 従来の3D認識画像合成では、特定のオブジェクトのクラスに対して、マルチビューの監督やカテゴリレベルの学習が必要になる。 この課題を解決するための鍵となるアイデアは、セマンティックフィールドを中間表現として使用することであり、これは入力セマンティックマスクから再構成し、オフザシェルフセマンティックイメージ合成モデルの助けを借りてラディアンスフィールドに変換することが容易である。 実験により,本手法はベースライン手法より優れ,様々な自然シーンのフォトリアリスティックで多視点一貫したビデオを生成することがわかった。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Zero-Shot Text-Guided Object Generation with Dream Fields [111.06026544180398]
  ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで、多様な3Dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 実験では、ドリーム・フィールズ(Dream Fields)は、様々な自然言語のキャプションから、現実的で多視点で一貫したオブジェクトの幾何学と色を作り出す。
  論文  参考訳（メタデータ） (2021-12-02T17:53:55Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)
• Diversifying Semantic Image Synthesis and Editing via Class- and Layer-wise VAEs [8.528384027684192]
  本稿では,ローカルからグローバルレベルの各オブジェクトクラスに対するフレキシブルな制御を可能にする,変動型オートエンコーダフレームワークのクラスおよびレイヤワイズ拡張を提案する。 提案手法は,最先端の手法と比較して,可塑性かつ多彩な画像を生成する。
  論文  参考訳（メタデータ） (2021-06-25T04:12:05Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。