論文の概要: Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors
- arxiv url: http://arxiv.org/abs/2409.14011v1
- Date: Sat, 21 Sep 2024 04:39:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 04:06:38.372854
- Title: Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors
- Title(参考訳): 学習型物理優先画像を用いた一般化型非視線イメージング
- Authors: Shida Sun, Yue Li, Yueyi Zhang, Zhiwei Xiong,
- Abstract要約: 非視線画像(NLOS)は、その潜在的な応用により注目されている。
既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。
本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
- 参考スコア(独自算出の注目度): 52.195637608631955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-line-of-sight (NLOS) imaging, recovering the hidden volume from indirect reflections, has attracted increasing attention due to its potential applications. Despite promising results, existing NLOS reconstruction approaches are constrained by the reliance on empirical physical priors, e.g., single fixed path compensation. Moreover, these approaches still possess limited generalization ability, particularly when dealing with scenes at a low signal-to-noise ratio (SNR). To overcome the above problems, we introduce a novel learning-based solution, comprising two key designs: Learnable Path Compensation (LPC) and Adaptive Phasor Field (APF). The LPC applies tailored path compensation coefficients to adapt to different objects in the scene, effectively reducing light wave attenuation, especially in distant regions. Meanwhile, the APF learns the precise Gaussian window of the illumination function for the phasor field, dynamically selecting the relevant spectrum band of the transient measurement. Experimental validations demonstrate that our proposed approach, only trained on synthetic data, exhibits the capability to seamlessly generalize across various real-world datasets captured by different imaging systems and characterized by low SNRs.
- Abstract(参考訳): 間接反射から隠れた体積を回収する非視線イメージング(NLOS)は、その潜在的な応用により注目されている。
有望な結果にもかかわらず、既存のNLOS再構成アプローチは、例えば単一固定経路補償のような経験的物理的前提に依存して制約される。
さらに、これらの手法は、特に低信号対雑音比(SNR)でシーンを扱う場合に、限定的な一般化能力を有する。
以上の問題を解決するために,Learningable Path Compensation (LPC) とAdaptive Phasor Field (APF) の2つの主要な設計を含む,新しい学習ベースソリューションを提案する。
LPCは、シーン内の異なる物体に適応するために、調整された経路補償係数を適用し、特に遠方の領域において、光の減衰を効果的に低減する。
一方、APFは、過渡測定の関連するスペクトル帯域を動的に選択し、ファサーフィールドの照明機能の正確なガウス窓を学習する。
実験により, 提案手法は合成データのみを訓練し, 異なる画像システムで捉えた様々な実世界のデータセットをシームレスに一般化し, 低いSNRで特徴付けられることを示した。
関連論文リスト
- Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。
近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。
拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
論文 参考訳(メタデータ) (2024-09-27T16:37:27Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Diffusion-based Light Field Synthesis [50.24624071354433]
LFdiffは、LF合成に適した拡散ベースの生成フレームワークである。
本稿では,遠絡型雑音推定ネットワークDistgUnetを提案する。
広範囲な実験により、LFdiffは視覚的に快く、不均一に制御可能な光電場を合成する際に優れていることが示されている。
論文 参考訳(メタデータ) (2024-02-01T13:13:16Z) - LFSRDiff: Light Field Image Super-Resolution via Diffusion Models [18.20217829625834]
光電場(LF)画像超解像(SR)は、固有の不適切な性質のため難しい問題である。
主流のLF画像SR法は、一般的に決定論的アプローチを採用し、ピクセル単位の損失関数によって制御される1つの出力しか生成しない。
本稿では,最初の拡散型LF画像SRモデルであるLPSRDiffを紹介する。
論文 参考訳(メタデータ) (2023-11-27T07:31:12Z) - Self-Calibrating, Fully Differentiable NLOS Inverse Rendering [15.624750787186803]
NLOS(Time-resolved Non-line-of-Sight)イメージングは、可視光線面で測定された間接照明の光路を反転させることで、隠れたシーンを再構成する。
隠れたシーンの再構成において、画像パラメータを自己校正する完全微分可能なNLOS逆レンダリングパイプラインを導入する。
本手法のロバスト性は, 高い騒音レベル下であっても, 幾何とアルベドを一貫して再構成するものである。
論文 参考訳(メタデータ) (2023-09-21T13:15:54Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-31T04:58:17Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - ATASI-Net: An Efficient Sparse Reconstruction Network for Tomographic
SAR Imaging with Adaptive Threshold [13.379416816598873]
本稿では,解析的反復収縮しきい値決定アルゴリズム(ALISTA)に基づく,効率的なスパース展開ネットワークを提案する。
ATASI-Netの各層における重み行列は、オフライン最適化問題の解法として事前計算される。
さらに、各方位領域画素に対して適応しきい値を導入し、しきい値収縮を層蒸着だけでなく素子的にも可能とする。
論文 参考訳(メタデータ) (2022-11-30T09:55:45Z) - Light Field Spatial Super-resolution via Deep Combinatorial Geometry
Embedding and Structural Consistency Regularization [99.96632216070718]
ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。
LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。
本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-05T14:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。