論文の概要: DINER: Depth-aware Image-based NEural Radiance fields

• arxiv url: http://arxiv.org/abs/2211.16630v2
• Date: Thu, 30 Mar 2023 22:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 17:11:25.731746
• Title: DINER: Depth-aware Image-based NEural Radiance fields
• Title（参考訳）: diner: 深度認識画像に基づくニューラルネットワークの放射場
• Authors: Malte Prinzler, Otmar Hilliges, Justus Thies
• Abstract要約: 我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。 RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。 特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 45.63488428831042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Depth-aware Image-based NEural Radiance fields (DINER). Given a sparse set of RGB input views, we predict depth and feature maps to guide the reconstruction of a volumetric scene representation that allows us to render 3D objects under novel views. Specifically, we propose novel techniques to incorporate depth information into feature fusion and efficient scene sampling. In comparison to the previous state of the art, DINER achieves higher synthesis quality and can process input views with greater disparity. This allows us to capture scenes more completely without changing capturing hardware requirements and ultimately enables larger viewpoint changes during novel view synthesis. We evaluate our method by synthesizing novel views, both for human heads and for general objects, and observe significantly improved qualitative results and increased perceptual metrics compared to the previous state of the art. The code is publicly available for research purposes.
• Abstract（参考訳）: 本稿では,深度認識型画像ベースニューラルラミアンスフィールド(diner)を提案する。 RGB入力ビューの粗いセットを考慮し、深度と特徴マップを予測して、新しいビューの下で3Dオブジェクトを描画できるボリュームシーン表現の再構築を誘導する。 具体的には,深度情報を特徴融合と効率的なシーンサンプリングに組み込む新しい手法を提案する。 以前の技術と比較すると、ダイナーは高い合成品質を達成し、高い差で入力ビューを処理できる。 これにより、ハードウェア要件のキャプチャを変更することなく、シーンをより完全にキャプチャすることができ、最終的には、新しいビュー合成時の視点変更を可能にします。 人間の頭と対象物の両方に新しいビューを合成することにより,本手法の評価を行い,従来の技術と比較すると,質的結果と知覚的指標が有意に向上したのを観察した。 コードは研究目的で公開されている。

関連論文リスト

• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Remote Sensing Novel View Synthesis with Implicit Multiplane Representations [26.33490094119609]
  暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。 リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。 任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-05-18T13:03:55Z)
• Dense Depth Priors for Neural Radiance Fields from Sparse Input Views [37.92064060160628]
  そこで本研究では,部屋全体の新しいビューを,桁違いに少ない画像から合成する手法を提案する。 提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。
  論文  参考訳（メタデータ） (2021-12-06T19:00:02Z)
• NeMI: Unifying Neural Radiance Fields with Multiplane Images for Novel View Synthesis [69.19261797333635]
  単一画像からの高密度3次元再構成による新しいビュー合成と深度推定を行う手法を提案する。 我々のNeMIはマルチプレーン画像(MPI)とニューラル放射場(NeRF)を統一する iBims-1およびNYU-v2の深さ推定でも、注釈付き深度監視なしで競争力のある結果が得られます。
  論文  参考訳（メタデータ） (2021-03-27T13:41:00Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。