論文の概要: DirectL: Efficient Radiance Fields Rendering for 3D Light Field Displays

• arxiv url: http://arxiv.org/abs/2407.14053v1
• Date: Fri, 19 Jul 2024 06:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:43:32.358917
• Title: DirectL: Efficient Radiance Fields Rendering for 3D Light Field Displays
• Title（参考訳）: DirectL:3D照明用高効率放射界レンダリング
• Authors: Zongyuan Yang, Baolin Liu, Yingde Song, Yongping Xiong, Lan Yi, Zhaohe Zhang, Xunbo Yu,
• Abstract要約: 我々は3Dディスプレイ上での放射場のための新しいレンダリングパラダイムであるDirectLを紹介する。 マルチビュー画像の代わりに光界画像を直接レンダリングする最適化されたレンダリングパイプラインを提案する。 実験の結果,DirectLのレンダリングは標準パラダイムに比べて最大40倍高速化された。
• 参考スコア（独自算出の注目度）: 1.4163441977305098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autostereoscopic display, despite decades of development, has not achieved extensive application, primarily due to the daunting challenge of 3D content creation for non-specialists. The emergence of Radiance Field as an innovative 3D representation has markedly revolutionized the domains of 3D reconstruction and generation. This technology greatly simplifies 3D content creation for common users, broadening the applicability of Light Field Displays (LFDs). However, the combination of these two fields remains largely unexplored. The standard paradigm to create optimal content for parallax-based light field displays demands rendering at least 45 slightly shifted views preferably at high resolution per frame, a substantial hurdle for real-time rendering. We introduce DirectL, a novel rendering paradigm for Radiance Fields on 3D displays. We thoroughly analyze the interweaved mapping of spatial rays to screen subpixels, precisely determine the light rays entering the human eye, and propose subpixel repurposing to significantly reduce the pixel count required for rendering. Tailored for the two predominant radiance fields--Neural Radiance Fields (NeRFs) and 3D Gaussian Splatting (3DGS), we propose corresponding optimized rendering pipelines that directly render the light field images instead of multi-view images. Extensive experiments across various displays and user study demonstrate that DirectL accelerates rendering by up to 40 times compared to the standard paradigm without sacrificing visual quality. Its rendering process-only modification allows seamless integration into subsequent radiance field tasks. Finally, we integrate DirectL into diverse applications, showcasing the stunning visual experiences and the synergy between LFDs and Radiance Fields, which unveils tremendous potential for commercialization applications. \href{direct-l.github.io}{\textbf{Project Homepage}
• Abstract（参考訳）: 数十年にわたる開発にもかかわらず、オートステレオディスプレイは広範囲の応用を達成していない。 革新的な3D表現としてのラジアンスフィールドの出現は、3D再構成と生成の領域を大きく革命させた。 この技術は、一般的なユーザのための3Dコンテンツ作成を大幅に単純化し、光フィールドディスプレイ(LFD)の適用性を広げる。 しかし、これらの2つの場の組み合わせはほとんど未解明のままである。 パララックスベースの光界表示のための最適なコンテンツを作成するための標準パラダイムは、1フレームあたりの高解像度で少なくとも45個の微調整されたビューをレンダリングすることを要求している。 我々は3Dディスプレイ上での放射場のための新しいレンダリングパラダイムであるDirectLを紹介する。 我々は、空間線をスクリーンサブピクセルに織り込んだマッピングを徹底的に分析し、人間の目に入る光線を正確に判定し、レンダリングに必要なピクセル数を著しく削減するためにサブピクセル再取得を提案する。 ニューラルラジアンス場(Neural Radiance Fields,NeRF)と3次元ガウススプラッティング(3DGS)の2つの主要放射場を対象として,多視点画像ではなく光画像を直接描画する最適化されたレンダリングパイプラインを提案する。 様々なディスプレイやユーザによる大規模な実験により、DirectLは視覚的品質を犠牲にすることなく、標準パラダイムに比べて最大40倍レンダリングを高速化することが示された。 レンダリングプロセスのみの修正により、その後のラディアンスフィールドタスクへのシームレスな統合が可能になる。 最後に、DirectLを多様なアプリケーションに統合し、目覚しい視覚体験とLFDとRadiance Fieldsの相乗効果を示し、商用化アプリケーションにとって大きな可能性を明らかにします。 \href{direct-l.github.io}{\textbf{Project Homepage}

関連論文リスト

• Bilateral Guided Radiance Field Processing [4.816861458037213]
  ニューラルラジアンス場(NeRF)は、新規なビュー合成の合成において、前例のない性能を達成する。 現代のカメラにおける画像信号処理(ISP)は、独立してそれらを強化し、再構成された放射場において「フローター」となる。 我々は、NeRFトレーニング段階におけるISPによる拡張を解消し、再構成されたラディアンスフィールドに対するユーザ希望の強化を再度適用することを提案する。 提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-01T14:10:45Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• ImmersiveNeRF: Hybrid Radiance Fields for Unbounded Immersive Light Field Reconstruction [32.722973192853296]
  本稿では,入射光場再構成のためのハイブリッド放射場表現を提案する。 我々は2つの異なる空間マッピング戦略を持つ2つの別々の放射場として、前景と背景を表現している。 また、THUImmersiveという新しい没入型光フィールドデータセットも提供し、より広い空間6DoFの没入型レンダリング効果を実現する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-09-04T05:57:16Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。