論文の概要: Physics to the Rescue: Deep Non-line-of-sight Reconstruction for High-speed Imaging

• arxiv url: http://arxiv.org/abs/2205.01679v1
• Date: Tue, 3 May 2022 02:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 06:22:40.663205
• Title: Physics to the Rescue: Deep Non-line-of-sight Reconstruction for High-speed Imaging
• Title（参考訳）: 物理からレスキューへ:高速イメージングのための深部非視線再構成
• Authors: Fangzhou Mu, Sicheng Mo, Jiayong Peng, Xiaochun Liu, Ji Hyun Nam, Siddeshwar Raghavan, Andreas Velten and Yin Li
• Abstract要約: 本稿では,高品位かつ堅牢なNLOS再構成のためのニューラルネットワークに,波動伝搬とボリュームレンダリングの相補的な物理を組み込んだ新しいディープモデルを提案する。 本手法は, 実測値と実測値の両方に基づいて, 従来の物理・学習手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 13.271762773872476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computational approach to imaging around the corner, or non-line-of-sight (NLOS) imaging, is becoming a reality thanks to major advances in imaging hardware and reconstruction algorithms. A recent development towards practical NLOS imaging, Nam et al. demonstrated a high-speed non-confocal imaging system that operates at 5Hz, 100x faster than the prior art. This enormous gain in acquisition rate, however, necessitates numerous approximations in light transport, breaking many existing NLOS reconstruction methods that assume an idealized image formation model. To bridge the gap, we present a novel deep model that incorporates the complementary physics priors of wave propagation and volume rendering into a neural network for high-quality and robust NLOS reconstruction. This orchestrated design regularizes the solution space by relaxing the image formation model, resulting in a deep model that generalizes well on real captures despite being exclusively trained on synthetic data. Further, we devise a unified learning framework that enables our model to be flexibly trained using diverse supervision signals, including target intensity images or even raw NLOS transient measurements. Once trained, our model renders both intensity and depth images at inference time in a single forward pass, capable of processing more than 5 captures per second on a high-end GPU. Through extensive qualitative and quantitative experiments, we show that our method outperforms prior physics and learning based approaches on both synthetic and real measurements. We anticipate that our method along with the fast capturing system will accelerate future development of NLOS imaging for real world applications that require high-speed imaging.
• Abstract（参考訳）: nlos(non-line-of-sight)イメージング(non-line-of-sight (nlos) imaging)は、画像ハードウェアとリコンストラクションアルゴリズムの大きな進歩によって現実のものになりつつある。 実用的nlosイメージングに向けた最近の開発であるnamらは、以前の技術よりも100倍速い5hzの高速非共焦点イメージングシステムを実証した。 しかし、この買収率の大きな向上は光輸送における多くの近似を必要とし、理想化された画像形成モデルを想定した既存のNLOS再構成手法を破る。 このギャップを埋めるために,ニューラルネットに波動伝播とボリュームレンダリングの相補的物理学的先行を組み込んだ,高品質でロバストなnlos再構成のための新しい深層モデルを提案する。 このオーケストレーションされた設計は、画像形成モデルを緩和することで解空間を定式化し、合成データのみを訓練したにもかかわらず、実際のキャプチャーをうまく一般化する深いモデルとなる。 さらに、ターゲット強度画像や生のNLOSトランジェント測定を含む多様な監視信号を用いて、モデルを柔軟に訓練できる統一学習フレームワークを考案した。 トレーニングされたモデルでは,1回のフォワードパスにおいて,インテンシティと深度の両方の画像を推論時にレンダリングし,ハイエンドGPU上で毎秒5回以上のキャプチャを処理できる。 定性的および定量的な実験を通じて,本手法は,合成および実測値の両方に基づく先行物理および学習手法より優れていることを示す。 我々は,高速撮像システムとともに,高速撮像を必要とする実世界のアプリケーションに向けたNLOSイメージングの開発を加速することを期待している。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Physics Constrained Unsupervised Deep Learning for Rapid, High Resolution Scanning Coherent Diffraction Reconstruction [0.4310181932415864]
  Coherent diffractive Imaging (CDI) と ptychography は、X線イメージングから天文学まで、科学分野に進出している。 物理インフォームドニューラルネットワーク再構成手法であるPtychoPINNを提案する。 特に、PtychoPINNは一般化可能性、精度(典型的には10dBPSNR増加)、線形分解能(2倍から6倍増)を著しく向上させる。
  論文  参考訳（メタデータ） (2023-06-19T15:24:07Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D Microscopic Imaging using Digital Holography [3.4635026053111484]
  デジタルホログラフィー(Digital holography)は、平面波面を持つレーザービームを物体に放出し、ホログラムと呼ばれる回折波形の強度を測定する3Dイメージング技術である。 近年,より正確なホログラフィック処理に深層学習(DL)法が用いられている。 本稿では, 識別ネットワークを用いて, 復元品質のセマンティック尺度を実現する, 生成的敵ネットワークに基づく新しいDLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:13:45Z)
• Adaptive Gradient Balancing for UndersampledMRI Reconstruction and Image-to-Image Translation [60.663499381212425]
  本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。 MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
  論文  参考訳（メタデータ） (2021-04-05T13:05:22Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)
• Deep Non-Line-of-Sight Reconstruction [18.38481917675749]
  本稿では,再構成問題を効率的に解くために,畳み込みフィードフォワードネットワークを用いる。 本研究では,自動エンコーダアーキテクチャを設計し,一貫した画像を直接深度マップ表現にマッピングする。 筆者らのフィードフォワードネットワークは,合成データのみに基づいて訓練されているものの,SPADセンサの計測データに一般化し,モデルに基づく再構成手法と競合する結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-01-24T16:05:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。