Fugu-MT 論文翻訳(概要): SPC to 3D: Novel View Synthesis from Binary SPC via I2I translation

論文の概要: SPC to 3D: Novel View Synthesis from Binary SPC via I2I translation

arxiv url: http://arxiv.org/abs/2506.06890v1
Date: Sat, 07 Jun 2025 18:33:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-10 16:33:10.551149
Title: SPC to 3D: Novel View Synthesis from Binary SPC via I2I translation
Title（参考訳）: SPCから3Dへ:I2I翻訳によるバイナリSPCからの新規ビュー合成
Authors: Sumit Sharma, Gopi Raju Matta, Kaushik Mitra,
Abstract要約: シングル光子カメラ(SPC)は、低照度と高照度の両方で、非常に高速な撮像を可能にする。 SPC画像のバイナリの性質は、特にテクスチャや色において、深刻な情報損失をもたらす。本稿では,バイナリSPC画像を高品質なカラー化新規ビューに変換するモジュール型2段階フレームワークを提案する。
参考スコア（独自算出の注目度）: 13.649334929746413
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Single Photon Avalanche Diodes (SPADs) represent a cutting-edge imaging technology, capable of detecting individual photons with remarkable timing precision. Building on this sensitivity, Single Photon Cameras (SPCs) enable image capture at exceptionally high speeds under both low and high illumination. Enabling 3D reconstruction and radiance field recovery from such SPC data holds significant promise. However, the binary nature of SPC images leads to severe information loss, particularly in texture and color, making traditional 3D synthesis techniques ineffective. To address this challenge, we propose a modular two-stage framework that converts binary SPC images into high-quality colorized novel views. The first stage performs image-to-image (I2I) translation using generative models such as Pix2PixHD, converting binary SPC inputs into plausible RGB representations. The second stage employs 3D scene reconstruction techniques like Neural Radiance Fields (NeRF) or Gaussian Splatting (3DGS) to generate novel views. We validate our two-stage pipeline (Pix2PixHD + Nerf/3DGS) through extensive qualitative and quantitative experiments, demonstrating significant improvements in perceptual quality and geometric consistency over the alternative baseline.
Abstract（参考訳）: 単光子雪崩ダイオード(SPAD)は、個々の光子を顕著なタイミング精度で検出できる最先端の撮像技術である。この感度に基づいて、SPC(Single Photon Cameras)は、低照度と高照度の両方で、非常に高速な撮像を可能にする。このようなSPCデータから3次元再構成と放射界回復を実現することは、大きな可能性を秘めている。しかし、SPC画像のバイナリ特性は、特にテクスチャや色において、深刻な情報損失をもたらすため、従来の3D合成技術では効果がない。この課題に対処するために,バイナリSPC画像を高品質なカラー化ノベルビューに変換するモジュール型2段階フレームワークを提案する。第1段階ではPix2PixHDのような生成モデルを用いてイメージ・トゥ・イメージ(I2I)変換を行い、バイナリSPC入力を可塑性RGB表現に変換する。第2段階ではニューラルレイディアンス・フィールド(Near Radiance Fields、NeRF)やガウス・スプレイティング(Gaussian Splatting、3DGS)のような3Dシーン再構築技術を用いて、新しいビューを生成する。我々は,2段階パイプライン(Pix2PixHD + Nerf/3DGS)を定性的,定量的な実験により検証し,代替ベースラインに対する知覚的品質と幾何的整合性に大きな改善があることを実証した。

関連論文リスト

High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting [15.309934457166394]
高速なダイナミック3Dシーンのキャプチャと再構成は、コンピュータグラフィックス、ビジョン、ロボット工学、空気力学、進化生物学などの学際分野に多くの応用がある。従来のRGBカメラはフレームレートが低く、露出時間が限られ、ベースラインが狭い。本稿では,RGB,深度,イベントカメラを組み合わせて高速でシーンを撮影・再構成するガウススプラッティングを用いた新しいセンサ融合手法を提案する。
論文参考訳（メタデータ） (2025-02-07T03:17:31Z)
Learning Radiance Fields from a Single Snapshot Compressive Image [18.548244681485922]
Snapshot Compressive Imaging (SCI) 法による1つの時間圧縮画像から基礎となる3次元シーン構造を復元する。我々は,SCINeRFのトレーニングの一環として,SCIの物理像過程を定式化するSCINeRFを提案する。さらに,一般的な3Dガウス・スプレイティング(3DGS)フレームワークを統合し,3Dシーンの再現品質とトレーニング・レンダリング速度を改善するためのSCISplatを提案する。
論文参考訳（メタデータ） (2024-12-27T06:40:44Z)
WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文参考訳（メタデータ） (2024-06-04T15:17:37Z)
Bilateral Guided Radiance Field Processing [4.816861458037213]
ニューラルラジアンス場(NeRF)は、新規なビュー合成の合成において、前例のない性能を達成する。現代のカメラにおける画像信号処理(ISP)は、独立してそれらを強化し、再構成された放射場において「フローター」となる。我々は、NeRFトレーニング段階におけるISPによる拡張を解消し、再構成されたラディアンスフィールドに対するユーザ希望の強化を再度適用することを提案する。提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。
論文参考訳（メタデータ） (2024-06-01T14:10:45Z)
SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image [19.58894449169074]
Snapshot Compressive Imaging (SCI) 技術は、1つの時間圧縮画像から基礎となる3次元シーン表現を復元する。神経放射場(NeRF)の訓練の一環としてSCIの物理的イメージング過程を定式化する。提案手法は、画像再構成と新しいビュー画像合成の観点から、最先端の手法を超越した手法である。
論文参考訳（メタデータ） (2024-03-29T07:14:14Z)
2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文参考訳（メタデータ） (2024-03-26T17:21:24Z)
StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文参考訳（メタデータ） (2023-12-02T02:27:58Z)
Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文参考訳（メタデータ） (2023-05-03T17:56:01Z)
Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文参考訳（メタデータ） (2021-11-29T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。