論文の概要: Learning Radiance Fields from a Single Snapshot Compressive Image

• arxiv url: http://arxiv.org/abs/2412.19483v1
• Date: Fri, 27 Dec 2024 06:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:13.421991
• Title: Learning Radiance Fields from a Single Snapshot Compressive Image
• Title（参考訳）: 単発圧縮画像からの放射場学習
• Authors: Yunhao Li, Xiang Liu, Xiaodong Wang, Xin Yuan, Peidong Liu,
• Abstract要約: Snapshot Compressive Imaging (SCI) 法による1つの時間圧縮画像から基礎となる3次元シーン構造を復元する。 我々は,SCINeRFのトレーニングの一環として,SCIの物理像過程を定式化するSCINeRFを提案する。 さらに,一般的な3Dガウス・スプレイティング(3DGS)フレームワークを統合し,3Dシーンの再現品質とトレーニング・レンダリング速度を改善するためのSCISplatを提案する。
• 参考スコア（独自算出の注目度）: 18.548244681485922
• License:
• Abstract: In this paper, we explore the potential of Snapshot Compressive Imaging (SCI) technique for recovering the underlying 3D scene structure from a single temporal compressed image. SCI is a cost-effective method that enables the recording of high-dimensional data, such as hyperspectral or temporal information, into a single image using low-cost 2D imaging sensors. To achieve this, a series of specially designed 2D masks are usually employed, reducing storage and transmission requirements and offering potential privacy protection. Inspired by this, we take one step further to recover the encoded 3D scene information leveraging powerful 3D scene representation capabilities of neural radiance fields (NeRF). Specifically, we propose SCINeRF, in which we formulate the physical imaging process of SCI as part of the training of NeRF, allowing us to exploit its impressive performance in capturing complex scene structures. In addition, we further integrate the popular 3D Gaussian Splatting (3DGS) framework and propose SCISplat to improve 3D scene reconstruction quality and training/rendering speed by explicitly optimizing point clouds into 3D Gaussian representations. To assess the effectiveness of our method, we conduct extensive evaluations using both synthetic data and real data captured by our SCI system. Experimental results demonstrate that our proposed approach surpasses the state-of-the-art methods in terms of image reconstruction and novel view synthesis. Moreover, our method also exhibits the ability to render high frame-rate multi-view consistent images in real time by leveraging SCI and the rendering capabilities of 3DGS. Codes will be available at: https://github.com/WU- CVGL/SCISplat.
• Abstract（参考訳）: 本稿では,1つの時間圧縮画像から基礎となる3次元シーン構造を復元するSnapshot Compressive Imaging (SCI)技術の可能性について検討する。 SCIは、高スペクトルや時間情報などの高次元データを低コストの2Dイメージングセンサーを用いて単一の画像に記録できるコスト効率のよい方法である。 これを実現するために、通常、一連の特別に設計された2Dマスクが使用され、ストレージと送信の要求を減らし、潜在的なプライバシー保護を提供する。 そこで我々は,ニューラルレイディアンスフィールド(NeRF)の強力な3次元シーン表現機能を活用した符号化された3次元シーン情報の復元にさらに一歩踏み出した。 具体的には、NeRFのトレーニングの一環としてSCIの物理画像処理を定式化するSCINeRFを提案する。 さらに,一般的な3Dガウススティング(3DGS)フレームワークを統合し,ポイントクラウドを3Dガウス表現に明示的に最適化することにより,3Dシーンの再現品質とトレーニング・レンダリング速度を改善するためのSCISplatを提案する。 提案手法の有効性を評価するため,SCIシステムで収集した合成データと実データの両方を用いて広範囲な評価を行った。 実験の結果,提案手法は画像再構成や新しいビュー合成において最先端の手法を超越していることがわかった。 さらに,SCIと3DGSのレンダリング機能を活用して,高フレームレートのマルチビュー一貫した画像をリアルタイムにレンダリングする能力を示す。 コードは、https://github.com/WU- CVGL/SCISplat.comから入手できる。

関連論文リスト

• SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image [11.391665055835249]
  Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。 現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。 本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
  論文  参考訳（メタデータ） (2024-11-19T12:52:37Z)
• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image [19.58894449169074]
  Snapshot Compressive Imaging (SCI) 技術は、1つの時間圧縮画像から基礎となる3次元シーン表現を復元する。 神経放射場(NeRF)の訓練の一環としてSCIの物理的イメージング過程を定式化する。 提案手法は、画像再構成と新しいビュー画像合成の観点から、最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-29T07:14:14Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。