論文の概要: LightSpeed: Light and Fast Neural Light Fields on Mobile Devices
- arxiv url: http://arxiv.org/abs/2310.16832v2
- Date: Thu, 26 Oct 2023 20:02:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 10:53:58.028534
- Title: LightSpeed: Light and Fast Neural Light Fields on Mobile Devices
- Title（参考訳）: lightspeed: モバイルデバイス上の光と高速のニューラルライトフィールド
- Authors: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian
Ren, L\'aszl\'o A Jeni
- Abstract要約: モバイルデバイス上でのリアルタイムのノベルビュー画像合成は、計算能力とストレージの制限により禁止されている。
近年の光電場表現の進歩により、モバイルデバイス上でのリアルタイムビュー合成の結果が期待できる。
- 参考スコア（独自算出の注目度）: 29.080086014074613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time novel-view image synthesis on mobile devices is prohibitive due to
the limited computational power and storage. Using volumetric rendering
methods, such as NeRF and its derivatives, on mobile devices is not suitable
due to the high computational cost of volumetric rendering. On the other hand,
recent advances in neural light field representations have shown promising
real-time view synthesis results on mobile devices. Neural light field methods
learn a direct mapping from a ray representation to the pixel color. The
current choice of ray representation is either stratified ray sampling or
Plucker coordinates, overlooking the classic light slab (two-plane)
representation, the preferred representation to interpolate between light field
views. In this work, we find that using the light slab representation is an
efficient representation for learning a neural light field. More importantly,
it is a lower-dimensional ray representation enabling us to learn the 4D ray
space using feature grids which are significantly faster to train and render.
Although mostly designed for frontal views, we show that the light-slab
representation can be further extended to non-frontal scenes using a
divide-and-conquer strategy. Our method offers superior rendering quality
compared to previous light field methods and achieves a significantly improved
trade-off between rendering quality and speed.
- Abstract（参考訳）: モバイルデバイス上でのリアルタイムのノベルビュー画像合成は、計算能力とストレージの制限により禁止されている。
モバイルデバイス上でのNeRFやそのデリバティブといったボリュームレンダリング手法は、ボリュームレンダリングの計算コストが高いため不適当である。
一方,近年の光場表現の進歩により,モバイルデバイス上でのリアルタイムビュー合成の結果が期待できる。
ニューラル光場法は、光線表現から画素色への直接マッピングを学習する。
現在の光線表現の選択は成層線サンプリングまたはプルッカー座標のいずれかであり、古典的な光スラブ(2面)表現を見渡して、光界ビュー間の補間に好まれる表現である。
本研究では,光スラブ表現を用いたニューラル光場学習が効率的な表現であることを示す。
さらに重要なことは、訓練とレンダリングが大幅に高速な特徴格子を用いて、4次元の光空間を学習できる低次元の光線表現である。
主にフロントビュー用に設計されているが、分割コンカニオン戦略を用いて、ライトスラブ表現を非フロントシーンに拡張できることが示されている。
本手法は従来の光フィールド法に比べて優れたレンダリング品質を提供し,レンダリング品質と速度のトレードオフを著しく改善する。
関連論文リスト
- UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation [66.95976870627064]
We design a Unified Voxelization framework for explicit learning of scene representations, called UniVoxel。
そこで本研究では,シーンの形状,材料,照明を軽量ニューラルネットワークで容易に学習できるため,シーンを潜在容積表現に符号化することを提案する。
実験の結果、UniVoxelは他の方法と比較して最適化効率を著しく向上させ、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再現性を実現した。
論文 参考訳（メタデータ） (2024-07-28T17:24:14Z) - Neural Free-Viewpoint Relighting for Glossy Indirect Illumination [44.32630651762033]
我々は、光沢反射を含む高周波間接照明に対するハイブリッドニューラルウェーブレットPRTソリューションを、視界の変化によるリライティングのために提示する。
我々は、ビュー依存のリフレクションや因果関係を含む難解なシーンのリアルタイムレンダリングを実演する。
論文 参考訳（メタデータ） (2023-07-12T17:56:09Z) - Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。
実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。
また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
論文 参考訳（メタデータ） (2021-12-02T18:59:32Z) - Neural Point Light Fields [80.98651520818785]
本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。
これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
論文 参考訳（メタデータ） (2021-12-02T18:20:10Z) - TermiNeRF: Ray Termination Prediction for Efficient Neural Rendering [18.254077751772005]
ニューラルネットワークを用いたボリュームレンダリングは、3Dシーンの新たなビューをキャプチャして合成する上で大きな可能性を秘めている。
この種のアプローチでは、画像をレンダリングするために、各ビューレイに沿って複数のポイントでボリュームネットワークをクエリする必要がある。
本稿では,この限界を克服するために,画素の最終的な外観に影響を与える可能性が最も高いカメラ線から,光線に沿った位置への直接マッピングを学習する手法を提案する。
論文 参考訳（メタデータ） (2021-11-05T17:50:44Z) - Learning Neural Transmittance for Efficient Rendering of Reflectance
Fields [43.24427791156121]
本稿では,ニューラルリフレクタンスフィールドのレンダリングを高速化する事前計算型ニューラルトランスミッション関数に基づく新しい手法を提案する。
実シーンと合成シーンの結果は、最小の精度で環境マップ下でのレンダリングにおいて、ほぼ2桁のスピードアップを示す。
論文 参考訳（メタデータ） (2021-10-25T21:12:25Z) - Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。
われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。
そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-28T18:55:50Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳（メタデータ） (2021-06-04T17:54:49Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-03-29T13:15:23Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。