論文の概要: SinGRAV: Learning a Generative Radiance Volume from a Single Natural Scene

• arxiv url: http://arxiv.org/abs/2210.01202v1
• Date: Mon, 3 Oct 2022 19:38:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 14:26:39.269989
• Title: SinGRAV: Learning a Generative Radiance Volume from a Single Natural Scene
• Title（参考訳）: singrav: 1つの自然シーンから生成的放射量を学ぶ
• Authors: Yujie Wang, Xuelin Chen, Baoquan Chen
• Abstract要約: 本稿では,一般的な自然シーンの3次元生成モデルを提案する。対象シーンを特徴付ける必要量の3Dデータを欠くため,一つのシーンから学ぶことを提案する。 本研究では,自然界における空間的局所性バイアスを有するマルチスケール畳み込みネットワークを利用して,一場面で複数のスケールで局所領域の統計から学習する。
• 参考スコア（独自算出の注目度）: 42.24260323525382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a 3D generative model for general natural scenes. Lacking necessary volumes of 3D data characterizing the target scene, we propose to learn from a single scene. Our key insight is that a natural scene often contains multiple constituents whose geometry, texture, and spatial arrangements follow some clear patterns, but still exhibit rich variations over different regions within the same scene. This suggests localizing the learning of a generative model on substantial local regions. Hence, we exploit a multi-scale convolutional network, which possesses the spatial locality bias in nature, to learn from the statistics of local regions at multiple scales within a single scene. In contrast to existing methods, our learning setup bypasses the need to collect data from many homogeneous 3D scenes for learning common features. We coin our method SinGRAV, for learning a Generative RAdiance Volume from a Single natural scene. We demonstrate the ability of SinGRAV in generating plausible and diverse variations from a single scene, the merits of SinGRAV over state-of-the-art generative neural scene methods, as well as the versatility of SinGRAV by its use in a variety of applications, spanning 3D scene editing, composition, and animation. Code and data will be released to facilitate further research.
• Abstract（参考訳）: 一般自然シーンの3次元生成モデルを提案する。 対象シーンを特徴付ける必要量の3Dデータを欠くため,一つのシーンから学習することを提案する。 私たちの重要な洞察は、自然のシーンは、幾何、テクスチャ、空間配置がいくつかの明確なパターンに従うが、同じシーン内で異なる領域にまたがる豊富なバリエーションを示す複数の構成要素を含むことが多いということです。 このことは、かなりの地域において生成モデルの学習をローカライズすることを示唆している。 そこで,本研究では,自然界における空間的局所性バイアスを有するマルチスケール畳み込みネットワークを利用して,一場面で複数のスケールで局所地域の統計から学習する。 既存の手法とは対照的に、学習環境は共通の特徴を学習するために、多くの同質な3Dシーンからデータを収集する必要性を回避している。 我々は,単一の自然シーンから生成的放射量を学ぶために,singrav法を考案した。 我々は,SinGRAVが単一シーンから可塑性・多彩なバリエーションを生成する能力,最先端の生成的ニューラルシーン法に対するSinGRAVのメリット,および3Dシーン編集,合成,アニメーションにまたがる様々なアプリケーションで使用されているSinGRAVの汎用性を実証した。 コードとデータがリリースされ、さらなる研究が促進される。

関連論文リスト

• Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement [32.335953514942474]
  本稿では,3次元の高密度特徴場と2次元の特徴抽出器を併用してシーン表現を共同学習することを提案する。 暗黙の場に符号化された中間的幾何情報を活用するために、ボリュームレンダリングを通してシーンの基盤となる幾何学を学習し、特徴体を設計する。 次に、画像ベースの機能とレンダリングされたボリューム機能を調整することで、視覚的なローカライゼーションを実現する。
  論文  参考訳（メタデータ） (2024-06-12T17:51:53Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• WildRefer: 3D Object Localization in Large-scale Dynamic Scenes with Multi-modal Visual Data and Natural Language [31.691159120136064]
  本稿では,自然言語記述とオンラインキャプチャによるマルチモーダル視覚データに基づく大規模動的シーンにおける3次元視覚接地作業について紹介する。 本研究では,画像中のリッチな外観情報,位置,および点雲中の幾何学的手がかりをフル活用して,WildReferという新しい手法を提案する。 われわれのデータセットは、野生の3Dビジュアルグラウンドの研究にとって重要なものであり、自動運転とサービスロボットの開発を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-04-12T06:48:26Z)
• SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene [40.705096946588]
  SinGRAF(SinGRAF)は、1つのシーンのいくつかの入力画像で訓練された3D認識生成モデルである。 シーンレイアウトを変えながら入力の外観を保ったこの3Dシーンの異なる実現法を生成する。 いくつかの実験により、SinGRAFが生み出した結果は、品質と多様性の両方において、大きなマージンで、最も近い関連研究を上回ります。
  論文  参考訳（メタデータ） (2022-11-30T18:55:27Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Zero-Shot Text-Guided Object Generation with Dream Fields [111.06026544180398]
  ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで、多様な3Dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 実験では、ドリーム・フィールズ(Dream Fields)は、様々な自然言語のキャプションから、現実的で多視点で一貫したオブジェクトの幾何学と色を作り出す。
  論文  参考訳（メタデータ） (2021-12-02T17:53:55Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。