論文の概要: DNRSelect: Active Best View Selection for Deferred Neural Rendering

• arxiv url: http://arxiv.org/abs/2501.12150v1
• Date: Tue, 21 Jan 2025 14:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:18.797352
• Title: DNRSelect: Active Best View Selection for Deferred Neural Rendering
• Title（参考訳）: DNRSelect:Dederred Neural Renderingのアクティブベストビュー選択
• Authors: Dongli Wu, Haochen Li, Xiaobao Wei,
• Abstract要約: Deferred Neural rendering (DNR)は、高忠実性レンダリングとロボット知覚のために設計された、新しいコンピュータグラフィックスパイプラインである。 遅延レンダリングのための3次元テクスチャアグリゲータと強化学習に基づくビューセレクタを統合したDNRSelectを提案する。
• 参考スコア（独自算出の注目度）: 2.1386681414144615
• License:
• Abstract: Deferred neural rendering (DNR) is an emerging computer graphics pipeline designed for high-fidelity rendering and robotic perception. However, DNR heavily relies on datasets composed of numerous ray-traced images and demands substantial computational resources. It remains under-explored how to reduce the reliance on high-quality ray-traced images while maintaining the rendering fidelity. In this paper, we propose DNRSelect, which integrates a reinforcement learning-based view selector and a 3D texture aggregator for deferred neural rendering. We first propose a novel view selector for deferred neural rendering based on reinforcement learning, which is trained on easily obtained rasterized images to identify the optimal views. By acquiring only a few ray-traced images for these selected views, the selector enables DNR to achieve high-quality rendering. To further enhance spatial awareness and geometric consistency in DNR, we introduce a 3D texture aggregator that fuses pyramid features from depth maps and normal maps with UV maps. Given that acquiring ray-traced images is more time-consuming than generating rasterized images, DNRSelect minimizes the need for ray-traced data by using only a few selected views while still achieving high-fidelity rendering results. We conduct detailed experiments and ablation studies on the NeRF-Synthetic dataset to demonstrate the effectiveness of DNRSelect. The code will be released.
• Abstract（参考訳）: Deferred Neural rendering (DNR)は、高忠実性レンダリングとロボット知覚のために設計された、新しいコンピュータグラフィックスパイプラインである。 しかし、DNRは多数のレイトレーディング画像からなるデータセットに大きく依存しており、かなりの計算資源を必要としている。 レンダリングの忠実さを維持しながら、高画質のレイトレーシング画像への依存を減らす方法については、まだ解明されていない。 本稿では,強化学習に基づくビューセレクタと3次元テクスチャアグリゲータを統合したDNRSelectを提案する。 まず, ラスタ化画像に基づいて学習し, 最適な視点を識別する, 強化学習に基づく遅延ニューラルレンダリングのための新しいビューセレクタを提案する。 これらの選択されたビューに対してわずか数枚のレイトレーシング画像を取得することで、セレクタはDNRが高品質なレンダリングを実現することができる。 DNRにおける空間認識と幾何整合性をさらに高めるために、深度マップとUVマップを用いた通常の地図からピラミッドの特徴を融合する3次元テクスチャアグリゲータを導入する。 DNRSelectは、ラスタ化画像を生成するよりも、レイトレーシング画像の取得に時間がかかることを考慮し、いくつかの選択されたビューのみを使用して、高忠実度レンダリング結果を達成することにより、レイトレーシングデータの必要性を最小限に抑える。 我々は、DNRSelectの有効性を示すために、NeRF合成データセットに関する詳細な実験とアブレーション研究を行った。 コードはリリースされます。

関連論文リスト

• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Generative Multiplane Neural Radiance for 3D-Aware Image Generation [102.15322193381617]
  本稿では,複数のターゲットビューに対して連続した3次元高解像度画像を効率よく生成する手法を提案する。 我々のGMNRモデルは、単一のV100上で17.6FPSの1024×1024ピクセルの3D認識画像を生成する。
  論文  参考訳（メタデータ） (2023-04-03T17:41:20Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。