論文の概要: SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image

• arxiv url: http://arxiv.org/abs/2403.20018v1
• Date: Fri, 29 Mar 2024 07:14:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:15:12.259890
• Title: SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image
• Title（参考訳）: SCINeRF: スナップショット圧縮画像からのニューラル放射場
• Authors: Yunhao Li, Xiaodong Wang, Ping Wang, Xin Yuan, Peidong Liu,
• Abstract要約: Snapshot Compressive Imaging (SCI) 技術は、1つの時間圧縮画像から基礎となる3次元シーン表現を復元する。 神経放射場(NeRF)の訓練の一環としてSCIの物理的イメージング過程を定式化する。 提案手法は、画像再構成と新しいビュー画像合成の観点から、最先端の手法を超越した手法である。
• 参考スコア（独自算出の注目度）: 19.58894449169074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the potential of Snapshot Compressive Imaging (SCI) technique for recovering the underlying 3D scene representation from a single temporal compressed image. SCI is a cost-effective method that enables the recording of high-dimensional data, such as hyperspectral or temporal information, into a single image using low-cost 2D imaging sensors. To achieve this, a series of specially designed 2D masks are usually employed, which not only reduces storage requirements but also offers potential privacy protection. Inspired by this, to take one step further, our approach builds upon the powerful 3D scene representation capabilities of neural radiance fields (NeRF). Specifically, we formulate the physical imaging process of SCI as part of the training of NeRF, allowing us to exploit its impressive performance in capturing complex scene structures. To assess the effectiveness of our method, we conduct extensive evaluations using both synthetic data and real data captured by our SCI system. Extensive experimental results demonstrate that our proposed approach surpasses the state-of-the-art methods in terms of image reconstruction and novel view image synthesis. Moreover, our method also exhibits the ability to restore high frame-rate multi-view consistent images by leveraging SCI and the rendering capabilities of NeRF. The code is available at https://github.com/WU-CVGL/SCINeRF.
• Abstract（参考訳）: 本稿では,1つの時間圧縮画像から基礎となる3次元シーン表現を復元するSnapshot Compressive Imaging (SCI)技術の可能性について検討する。 SCIは、高スペクトルや時間情報などの高次元データを、低コストの2Dイメージングセンサーを用いて単一の画像に記録できるコスト効率のよい方法である。 これを実現するために、通常、一連の特別に設計された2Dマスクが採用され、ストレージの要求を減らし、潜在的なプライバシー保護を提供する。 これに触発されて、我々はNeRF(Near Radiance Field)の強力な3次元シーン表現能力を構築した。 具体的には、NeRFのトレーニングの一環としてSCIの物理画像処理を定式化し、複雑なシーン構造を捉えた際、その印象的な性能を利用する。 提案手法の有効性を評価するため,SCIシステムで収集した合成データと実データの両方を用いて広範囲な評価を行った。 画像再構成と新しいビュー画像合成の観点から,提案手法が最先端の手法を超越していることが実証された。 さらに,本手法では,SCIとNeRFのレンダリング機能を活用して,高フレームレートのマルチビュー一貫した画像の復元が可能となる。 コードはhttps://github.com/WU-CVGL/SCINeRFで公開されている。

関連論文リスト

• Evaluating geometric accuracy of NeRF reconstructions compared to SLAM method [0.0]
  フォトグラメトリーは画像ベースの3D再構成を行うことができるが、計算コストが高く、複雑な幾何学やフォトリアリズムを復元するために非常に高密度な画像表現を必要とする。 NeRFは、スパース画像上でニューラルネットワークをトレーニングし、データをポーズすることで3Dシーン再構築を行い、少ない入力データでフォトグラム測定に優れた結果が得られる。 縦型PVCシリンダの直径を推定するための2つのNeRFシーン再構成の評価を行った。
  論文  参考訳（メタデータ） (2024-07-15T21:04:11Z)
• NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
  メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。 提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
  論文  参考訳（メタデータ） (2024-04-02T15:49:00Z)
• Reconstructing Continuous Light Field From Single Coded Image [7.937367109582907]
  本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。 カメラに実装された共同開口露光符号化により、3次元シーン情報の観察画像への効果的な埋め込みが可能となる。 NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-16T07:59:01Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Shielding the Unseen: Privacy Protection through Poisoning NeRF with Spatial Deformation [59.302770084115814]
  本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。 我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。 我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2023-10-04T19:35:56Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。