論文の概要: GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds

• arxiv url: http://arxiv.org/abs/2104.07659v1
• Date: Thu, 15 Apr 2021 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 14:54:11.910950
• Title: GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds
• Title（参考訳）: GANcraft:マインクラフトの3Dニューラルレンダリング
• Authors: Zekun Hao, Arun Mallya, Serge Belongie, Ming-Yu Liu
• Abstract要約: GANcraftは、大きな3Dブロック世界のフォトリアリズム画像を生成するための教師なしのニューラルレンダリングフレームワークです。 提案手法では,各ブロックにダート,草,水などの意味ラベルを割り当てたセマンティックブロックを入力とする。 ブロック世界における実画像のペア化がなければ,擬似地上真実と敵対的訓練に基づく訓練手法を考案する。
• 参考スコア（独自算出の注目度）: 29.533111314655788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GANcraft, an unsupervised neural rendering framework for generating photorealistic images of large 3D block worlds such as those created in Minecraft. Our method takes a semantic block world as input, where each block is assigned a semantic label such as dirt, grass, or water. We represent the world as a continuous volumetric function and train our model to render view-consistent photorealistic images for a user-controlled camera. In the absence of paired ground truth real images for the block world, we devise a training technique based on pseudo-ground truth and adversarial training. This stands in contrast to prior work on neural rendering for view synthesis, which requires ground truth images to estimate scene geometry and view-dependent appearance. In addition to camera trajectory, GANcraft allows user control over both scene semantics and output style. Experimental results with comparison to strong baselines show the effectiveness of GANcraft on this novel task of photorealistic 3D block world synthesis. The project website is available at https://nvlabs.github.io/GANcraft/ .
• Abstract（参考訳）: GANcraftは、Minecraftで作成されたような、大規模な3Dブロック世界のフォトリアリスティック画像を生成する、教師なしのニューラルネットワークレンダリングフレームワークである。 提案手法は意味ブロックの世界を入力とし,各ブロックに土,草,水などの意味ラベルを付与する。 我々は,連続的なボリューム関数として世界を表現し,ユーザ制御カメラ用のビュー一貫性のあるフォトリアリスティック画像をレンダリングするようにモデルを訓練する。 ブロック世界における実画像のペア化がなければ,擬似地上真実と敵対的訓練に基づく訓練手法を考案する。 これは、シーンの幾何とビュー依存の外観を推定するために基底真理画像を必要とする、ビュー合成のためのニューラルネットワークレンダリングに関する以前の作業とは対照的である。 カメラの軌道に加え、GANcraftはシーンセマンティクスと出力スタイルの両方をユーザが制御できる。 強塩基性との比較実験により,光実写3次元ブロック世界合成におけるガンクラフトの有効性が示された。 プロジェクトのwebサイトはhttps://nvlabs.github.io/gancraft/。

関連論文リスト

• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [42.74145788079571]
  R2Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。 本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:59:43Z)
• Infinite Photorealistic Worlds using Procedural Generation [135.10236145573043]
  インフィニゲン(Infinigen)は、自然界のフォトリアリスティックな3Dシーンのプロシージャジェネレータである。 形状からテクスチャに至るまで、すべての資産はランダム化された数学的ルールによってゼロから生成される。
  論文  参考訳（メタデータ） (2023-06-15T17:46:16Z)
• Persistent Nature: A Generative Model of Unbounded 3D Worlds [74.51149070418002]
  任意のカメラポーズから3Dデコーダとボリュームレンダリングによって描画できる拡張可能な平面配置グリッドを提案する。 この表現に基づいて、単一視点のインターネット写真のみから生成的世界モデルを学ぶ。 提案手法は,現在の3次元生成モデルの固定境界を超えるシーン外挿を可能にするとともに,永続的でカメラに依存しない世界表現をサポートする。
  論文  参考訳（メタデータ） (2023-03-23T17:59:40Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering [0.0]
  我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。 テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。 これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
  論文  参考訳（メタデータ） (2020-07-31T03:25:17Z)
• Learning Neural Light Transport [28.9247002210861]
  ニューラルネットワークを用いた静的・動的3次元シーンにおける光輸送の学習手法を提案する。 我々のモデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-06-05T13:26:05Z)
• BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled Images [38.952307525311625]
  画像生成モデルであるBlockGANについて述べる。 コンピュータグラフィックスパイプラインにインスパイアされた我々は、BlockGANを設計し、まず背景と前景の3D機能を生成し、それらを全体の3D機能に組み合わせることを学ぶ。
  論文  参考訳（メタデータ） (2020-02-20T19:41:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。