論文の概要: Soft Shadow Diffusion (SSD): Physics-inspired Learning for 3D Computational Periscopy
- arxiv url: http://arxiv.org/abs/2601.12257v1
- Date: Sun, 18 Jan 2026 04:40:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.532047
- Title: Soft Shadow Diffusion (SSD): Physics-inspired Learning for 3D Computational Periscopy
- Title(参考訳): ソフトシャドウ拡散(SSD) : 物理にインスパイアされた3次元計算パースコピー学習
- Authors: Fadlullah Raji, John Murray-Bruce,
- Abstract要約: 非視線イメージング(NLOS)は間接的な測定から隠れたシーンを再構成する。
ここでは,通常のNLOS画像から隠れたシーンの3次元再構成を実演する。
我々は、勾配に基づく最適化法と、ソフトシャドウ拡散と呼ばれる物理に着想を得たニューラルネットワークアプローチの2つのソリューションを開発した。
- 参考スコア(独自算出の注目度): 9.625436987364909
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional imaging requires a line of sight to create accurate visual representations of a scene. In certain circumstances, however, obtaining a suitable line of sight may be impractical, dangerous, or even impossible. Non-line-of-sight (NLOS) imaging addresses this challenge by reconstructing the scene from indirect measurements. Recently, passive NLOS methods that use an ordinary photograph of the subtle shadow cast onto a visible wall by the hidden scene have gained interest. These methods are currently limited to 1D or low-resolution 2D color imaging or to localizing a hidden object whose shape is approximately known. Here, we generalize this class of methods and demonstrate a 3D reconstruction of a hidden scene from an ordinary NLOS photograph. To achieve this, we propose a novel reformulation of the light transport model that conveniently decomposes the hidden scene into \textit{light-occluding} and \textit{non-light-occluding} components to yield a separable non-linear least squares (SNLLS) inverse problem. We develop two solutions: A gradient-based optimization method and a physics-inspired neural network approach, which we call Soft Shadow diffusion (SSD). Despite the challenging ill-conditioned inverse problem encountered here, our approaches are effective on numerous 3D scenes in real experimental scenarios. Moreover, SSD is trained in simulation but generalizes well to unseen classes in simulation and real-world NLOS scenes. SSD also shows surprising robustness to noise and ambient illumination.
- Abstract(参考訳): 従来の画像は、シーンの正確な視覚表現を作成するために、視線を必要とする。
しかし、特定の状況下では、適切な視線を得るのは非現実的、危険、あるいは不可能である。
非視線イメージング(NLOS)は、間接的な測定からシーンを再構築することでこの問題に対処する。
近年,隠れたシーンで見える壁面に映し出される微妙な影の通常の写真を利用する受動的NLOS手法が注目されている。
これらの手法は現在、1Dまたは低解像度の2Dカラーイメージングや、形状がほぼ知られている隠された物体の局所化に限られている。
そこで本研究では,この手法を一般化し,通常のNLOS画像から隠れたシーンを3次元再構成した。
これを実現するために,隠れたシーンを \textit{light-occluding} と \textit{non-light-occluding} に分解し,分離可能な非線形最小二乗(SNLLS)逆問題を生成する光輸送モデルの改良を提案する。
我々は、勾配に基づく最適化法と、ソフトシャドウ拡散(SSD)と呼ばれる物理に着想を得たニューラルネットワークアプローチの2つのソリューションを開発した。
ここでは不条件の逆問題に遭遇するが、実実験シナリオにおける多くの3次元シーンにおいて、我々のアプローチは効果的である。
さらに、SSDはシミュレーションで訓練されているが、シミュレーションや現実世界のNLOSシーンでは見えないクラスによく一般化されている。
SSDは、ノイズや周囲の照明にも驚くほど頑丈だ。
関連論文リスト
- Lumos3D: A Single-Forward Framework for Low-Light 3D Scene Restoration [10.184395697154448]
我々は3次元低照度シーン復元のためのポーズレスフレームワークであるLumos3Dを紹介する。
幾何学的な基底を持つバックボーン上に構築されたLumos3Dは、通常の光の3Dガウス表現を再構成する。
実世界のデータセットの実験では、Lumos3Dは高忠実度低光度3Dシーンの復元を実現する。
論文 参考訳(メタデータ) (2025-11-12T23:42:03Z) - Uncertainty-Aware Diffusion Guided Refinement of 3D Scenes [39.44244142263019]
1枚の画像から3Dシーンを再構築することは、問題の本質が過小評価されているため、基本的に不適切な作業である。
本研究では,既存の画像から3D画像へのフィードフォワードネットワークにおいて,これらの制約に対処する。
入力画像の視界を超えた情報不足による性能低下を軽減するため、事前学習された潜伏映像拡散モデルを用いて、強い生成前を活用できる。
論文 参考訳(メタデータ) (2025-03-19T23:14:27Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T19:00:45Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a
Single Viewpoint [22.42916940712357]
本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。
本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。
新規ビュー合成やリライトといったアプリケーションをサポートする。
論文 参考訳(メタデータ) (2022-10-17T11:01:52Z) - Towards Non-Line-of-Sight Photography [48.491977359971855]
非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。
アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。
我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
論文 参考訳(メタデータ) (2021-09-16T08:07:13Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳(メタデータ) (2021-06-04T17:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。