論文の概要: PhotonSplat: 3D Scene Reconstruction and Colorization from SPAD Sensors

• arxiv url: http://arxiv.org/abs/2506.21680v1
• Date: Thu, 26 Jun 2025 18:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:22.962673
• Title: PhotonSplat: 3D Scene Reconstruction and Colorization from SPAD Sensors
• Title（参考訳）: PhotonSplat:SPADセンサーによる3次元シーンの再現とカラー化
• Authors: Sai Sri Teja, Sreevidya Chintalapati, Vinayak Gupta, Mukund Varma T, Haejoon Lee, Aswin Sankaranarayanan, Kaushik Mitra,
• Abstract要約: 本研究では,SPADバイナリ画像から直接3Dシーンを再構成するフレームワークであるPhotonSplatを紹介する。 提案手法では,新しい3次元空間フィルタリング技術を用いて,レンダリングのノイズを低減する。 動的シーン表現を組み込むように拡張し、移動物体のシーンに適したようにした。
• 参考スコア（独自算出の注目度）: 17.636234096112446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in 3D reconstruction using neural rendering have enabled high-quality 3D capture. However, they often fail when the input imagery is corrupted by motion blur, due to fast motion of the camera or the objects in the scene. This work advances neural rendering techniques in such scenarios by using single-photon avalanche diode (SPAD) arrays, an emerging sensing technology capable of sensing images at extremely high speeds. However, the use of SPADs presents its own set of unique challenges in the form of binary images, that are driven by stochastic photon arrivals. To address this, we introduce PhotonSplat, a framework designed to reconstruct 3D scenes directly from SPAD binary images, effectively navigating the noise vs. blur trade-off. Our approach incorporates a novel 3D spatial filtering technique to reduce noise in the renderings. The framework also supports both no-reference using generative priors and reference-based colorization from a single blurry image, enabling downstream applications such as segmentation, object detection and appearance editing tasks. Additionally, we extend our method to incorporate dynamic scene representations, making it suitable for scenes with moving objects. We further contribute PhotonScenes, a real-world multi-view dataset captured with the SPAD sensors.
• Abstract（参考訳）: ニューラルレンダリングによる3D再構成の進歩は、高品質な3Dキャプチャを可能にした。 しかし、カメラやシーン内の物体の高速な動きによって、入力画像が動きのぼけによって劣化すると、しばしば失敗する。 この研究は、超高速で画像を感知できる新興のセンシング技術である単一光子アバランシェダイオード(SPAD)アレイを使用することで、そのようなシナリオにおけるニューラルレンダリング技術を発展させる。 しかし、SPADの使用は、確率的な光子到着によって駆動されるバイナリ画像の形で独自の課題のセットを提示する。 この問題を解決するために,SPADバイナリ画像から直接3Dシーンを再構成するフレームワークであるPhotonSplatを導入する。 提案手法では,新しい3次元空間フィルタリング技術を用いて,レンダリングのノイズを低減する。 このフレームワークはまた、生成前の生成と単一のぼやけた画像からの参照ベースの色付けの両方をサポートし、セグメント化、オブジェクト検出、外観編集タスクなどの下流アプリケーションを可能にする。 さらに、動的シーン表現を組み込むように拡張し、移動物体のシーンに適したようにした。 さらに、SPADセンサーでキャプチャした実世界のマルチビューデータセットであるPhotonScenesにコントリビュートする。

関連論文リスト

• Visibility-Uncertainty-guided 3D Gaussian Inpainting via Scene Conceptional Learning [63.94919846010485]
  3DGI)は、複数の入力ビューから補完的な視覚的・意味的手がかりを効果的に活用することが困難である。 本稿では,異なる入力ビュー間での3Dポイントの視認性不確実性を計測し,それらを用いて3DGIを誘導する手法を提案する。 ViSibility-uncerTainty-guided 3DGIとシーンコンセプトAl学習を統合し,新しい3DGIフレームワークであるVISTAを構築した。
  論文  参考訳（メタデータ） (2025-04-23T06:21:11Z)
• A Plug-and-Play Algorithm for 3D Video Super-Resolution of Single-Photon LiDAR data [5.378429123269604]
  単光子アバランシェダイオード(SPAD)は、個々の光子を検出し、ピコ秒分解能で到着時間を記録できる高度なセンサーである。 本研究では,SPADデータから移動シーンの3次元再構成を改善するための新しい計算画像処理アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T16:33:06Z)
• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
  実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。 Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-06-25T14:42:51Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Deblurring 3D Gaussian Splatting [7.315329140016319]
  MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。 Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
  論文  参考訳（メタデータ） (2024-01-01T18:23:51Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。