Fugu-MT 論文翻訳(概要): RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent

論文の概要: RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent

arxiv url: http://arxiv.org/abs/2307.03017v3
Date: Mon, 27 Nov 2023 11:38:39 GMT
ステータス: 処理完了
システム内更新日: 2023-11-30 15:34:13.534486
Title: RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent
Title（参考訳）: RealLiFe:階層スパースグラディエント線によるリアルタイム光電場再構成
Authors: Yijie Deng, Lei Han, Tianpeng Lin, Lin Li, Jinzhi Zhang, and Lu Fang
Abstract要約: EffLiFeは、スパースビュー画像から高品質な光場をリアルタイムで生成する新しい光場最適化手法である。本手法は,最先端のオフライン手法よりも平均100倍高速な視覚的品質を実現する。
参考スコア（独自算出の注目度）: 23.4659443904092
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the rise of Extended Reality (XR) technology, there is a growing need for real-time light field generation from sparse view inputs. Existing methods can be classified into offline techniques, which can generate high-quality novel views but at the cost of long inference/training time, and online methods, which either lack generalizability or produce unsatisfactory results. However, we have observed that the intrinsic sparse manifold of Multi-plane Images (MPI) enables a significant acceleration of light field generation while maintaining rendering quality. Based on this insight, we introduce EffLiFe, a novel light field optimization method, which leverages the proposed Hierarchical Sparse Gradient Descent (HSGD) to produce high-quality light fields from sparse view images in real time. Technically, the coarse MPI of a scene is first generated using a 3D CNN, and it is further sparsely optimized by focusing only on important MPI gradients in a few iterations. Nevertheless, relying solely on optimization can lead to artifacts at occlusion boundaries. Therefore, we propose an occlusion-aware iterative refinement module that removes visual artifacts in occluded regions by iteratively filtering the input. Extensive experiments demonstrate that our method achieves comparable visual quality while being 100x faster on average than state-of-the-art offline methods and delivering better performance (about 2 dB higher in PSNR) compared to other online approaches.
Abstract（参考訳）: 拡張現実感(XR)技術の台頭に伴い、スパースビューの入力からリアルタイムの光場生成の必要性が高まっている。既存の手法は、高品質なノベルビューを生成することができるが、長い推論/トレーニングのコストがかかるオフライン技術と、一般化性に欠けるか、不満足な結果を生み出すオンライン手法に分類することができる。しかし,Multi-plane Images (MPI) の固有スパース多様体は,レンダリング品質を維持しつつ,光電場生成の大幅な加速を可能にした。この知見に基づいて,提案した階層スパース勾配Descent (HSGD) を利用して,スパース画像から高品質な光フィールドをリアルタイムで生成する光場最適化手法であるEffLiFeを紹介する。技術的には、シーンの粗いMPIはまず3D CNNを使用して生成され、数回のイテレーションで重要なMPI勾配のみに焦点をあてることで、より疎く最適化される。それでも、最適化のみに依存することは、咬合境界でのアーティファクトにつながる可能性がある。そこで本研究では,入力を反復的にフィルタリングすることで,隠蔽領域の視覚的アーティファクトを除去するオクルージョン対応イテレーティブリファインメントモジュールを提案する。大規模な実験により,従来のオフライン手法に比べて平均100倍高速で視覚的品質を達成でき,他のオンライン手法に比べて性能(PSNRでは約2dB高い)が向上した。

関連論文リスト

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS [47.47003067842151]
本稿では,複雑なシーンをリアルタイムにレンダリングする軽量なRadSplatを提案する。まず, 優先信号として放射場を用い, 点ベースシーン表現の最適化を行い, 品質の向上とロバストな最適化を実現した。次に,高い品質を維持しつつ全体の点数を削減し,より高速な推論速度でより小型でコンパクトなシーン表現を実現する新しいプルーニング手法を開発した。
論文参考訳（メタデータ） (2024-03-20T17:59:55Z)
PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment [91.38256332633544]
PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
論文参考訳（メタデータ） (2024-03-15T15:05:29Z)
VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2023-11-09T11:32:49Z)
HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance [19.252300247300145]
本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
論文参考訳（メタデータ） (2023-05-30T05:56:58Z)
Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文参考訳（メタデータ） (2023-05-22T16:50:19Z)
VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs [9.374561178958404]
VGOSはスパースインプット(3-10ビュー)からの高速(3-5分)放射場再構成のためのアプローチ周辺ボクセルの最適化を抑えることでオーバーフィッティングを防止できるインクリメンタルボクセルトレーニング戦略を導入する。超高速収束によるスパース入力に対して,VGOSが最先端の性能を達成することを示す実験を行った。
論文参考訳（メタデータ） (2023-04-26T08:52:55Z)
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文参考訳（メタデータ） (2023-04-20T17:59:52Z)
Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method [51.30748775681917]
低照度画像強調(LLIE)の課題を考察し,4K解像度と8K解像度の画像からなる大規模データベースを導入する。我々は、系統的なベンチマーク研究を行い、現在のLLIEアルゴリズムと比較する。第2のコントリビューションとして,変換器をベースとした低照度化手法であるLLFormerを紹介する。
論文参考訳（メタデータ） (2022-12-22T09:05:07Z)
PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文参考訳（メタデータ） (2022-08-17T03:42:29Z)
Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文参考訳（メタデータ） (2022-07-10T13:47:20Z)
Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction [42.3230709881297]
画像の集合からシーンごとの放射界を再構成する超高速収束手法を提案する。提案手法はNeRFに比較可能な品質を実現し,1つのGPUで15分以内でスクラッチから急速に収束する。
論文参考訳（メタデータ） (2021-11-22T14:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。