論文の概要: Learning Neural Light Transport

• arxiv url: http://arxiv.org/abs/2006.03427v1
• Date: Fri, 5 Jun 2020 13:26:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 04:02:21.491633
• Title: Learning Neural Light Transport
• Title（参考訳）: ニューラル光輸送の学習
• Authors: Paul Sanzenbacher, Lars Mescheder, Andreas Geiger
• Abstract要約: ニューラルネットワークを用いた静的・動的3次元シーンにおける光輸送の学習手法を提案する。 我々のモデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成することができる。
• 参考スコア（独自算出の注目度）: 28.9247002210861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep generative models have gained significance due to their ability to synthesize natural-looking images with applications ranging from virtual reality to data augmentation for training computer vision models. While existing models are able to faithfully learn the image distribution of the training set, they often lack controllability as they operate in 2D pixel space and do not model the physical image formation process. In this work, we investigate the importance of 3D reasoning for photorealistic rendering. We present an approach for learning light transport in static and dynamic 3D scenes using a neural network with the goal of predicting photorealistic images. In contrast to existing approaches that operate in the 2D image domain, our approach reasons in both 3D and 2D space, thus enabling global illumination effects and manipulation of 3D scene geometry. Experimentally, we find that our model is able to produce photorealistic renderings of static and dynamic scenes. Moreover, it compares favorably to baselines which combine path tracing and image denoising at the same computational budget.
• Abstract（参考訳）: 近年,コンピュータビジョンモデルのトレーニング用として,仮想現実からデータ拡張まで,自然に見える画像を合成する能力によって,深層生成モデルの重要性が高まっている。 既存のモデルはトレーニングセットの画像分布を忠実に学習できるが、2Dピクセル空間で動作し、物理的画像形成過程をモデル化しないため、制御性に欠けることが多い。 本研究では,フォトリアリスティックレンダリングにおける3次元推論の重要性について検討する。 本稿では,フォトリアリスティック画像の予測を目的としたニューラルネットワークを用いた,静的および動的3次元シーンにおける光伝達の学習手法を提案する。 2次元画像領域で動作する既存のアプローチとは対照的に,我々のアプローチは3次元空間と2次元空間の両方で原因となり,地球規模の照明効果と3次元シーン形状の操作が可能となった。 実験の結果,本モデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成できることが判明した。 さらに、パストレースと画像デノーミングを併用したベースラインを、同じ計算予算で好適に比較する。

関連論文リスト

• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
  GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。 車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。 生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-04T23:41:20Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Beyond Flatland: Pre-training with a Strong 3D Inductive Bias [5.577231009305908]
  片岡らは2020年、教師付きディープラーニングにおける自然画像の必要性を解消する手法を導入した。 私たちは彼らの仕事からインスピレーションを得て、3Dプロシージャオブジェクトレンダリングを使ってこのアイデアを構築します。 これまでの研究と同様に、私たちのトレーニングコーパスは完全に合成され、簡単な手続き戦略から派生します。
  論文  参考訳（メタデータ） (2021-11-30T21:30:24Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering [0.0]
  我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。 テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。 これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
  論文  参考訳（メタデータ） (2020-07-31T03:25:17Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。