論文の概要: Passive Non-Line-of-Sight Imaging with Light Transport Modulation
- arxiv url: http://arxiv.org/abs/2312.16014v1
- Date: Tue, 26 Dec 2023 11:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:07:48.457591
- Title: Passive Non-Line-of-Sight Imaging with Light Transport Modulation
- Title(参考訳): 光輸送変調を用いたパッシブ非視線イメージング
- Authors: Jiarui Zhang, Ruixu Geng, Xiaolong Du, Yan Chen, Houqiang Li, Yang Hu
- Abstract要約: 一つのネットワークで複数の光輸送条件を効果的に処理する新しい受動NLOSイメージング法であるNLOS-LTMを提案する。
我々は、投影画像から潜在光輸送表現を推測し、この表現を用いて、投影画像から隠されたイメージを再構成するネットワークを変調する。
大規模受動的NLOSデータセットの実験により,提案手法の優位性を実証した。
- 参考スコア(独自算出の注目度): 48.73475279812311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Passive non-line-of-sight (NLOS) imaging has witnessed rapid development in
recent years, due to its ability to image objects that are out of sight. The
light transport condition plays an important role in this task since changing
the conditions will lead to different imaging models. Existing learning-based
NLOS methods usually train independent models for different light transport
conditions, which is computationally inefficient and impairs the practicality
of the models. In this work, we propose NLOS-LTM, a novel passive NLOS imaging
method that effectively handles multiple light transport conditions with a
single network. We achieve this by inferring a latent light transport
representation from the projection image and using this representation to
modulate the network that reconstructs the hidden image from the projection
image. We train a light transport encoder together with a vector quantizer to
obtain the light transport representation. To further regulate this
representation, we jointly learn both the reconstruction network and the
reprojection network during training. A set of light transport modulation
blocks is used to modulate the two jointly trained networks in a multi-scale
way. Extensive experiments on a large-scale passive NLOS dataset demonstrate
the superiority of the proposed method. The code is available at
https://github.com/JerryOctopus/NLOS-LTM.
- Abstract(参考訳): パッシブ非視線画像(NLOS)は、視界外にある物体を撮影できるため、近年急速に発達している。
光輸送条件は、条件の変更が異なる撮像モデルにつながるため、このタスクにおいて重要な役割を果たす。
既存の学習ベースのnlos法は、通常、異なる光輸送条件のための独立したモデルを訓練するが、計算効率が悪く、モデルの実用性を損なう。
本研究では,複数の光輸送条件を単一のネットワークで効果的に処理する新しい受動NLOSイメージング手法であるNLOS-LTMを提案する。
我々は、投影画像から潜在光輸送表現を推測し、この表現を用いて、投影画像から隠された画像を再構成するネットワークを変調する。
我々は光輸送エンコーダをベクトル量子化器と共に訓練し、光輸送表現を得る。
この表現をさらに規制するために、トレーニング中に再構築ネットワークと再計画ネットワークの両方を共同で学習する。
光輸送変調ブロックのセットは、2つの共同訓練ネットワークをマルチスケールで変調するために使用される。
大規模受動的NLOSデータセットの大規模な実験により,提案手法の優位性を実証した。
コードはhttps://github.com/JerryOctopus/NLOS-LTMで公開されている。
関連論文リスト
- Deep-learning-assisted optical communication with discretized state space of structural light [2.884252230064288]
本稿では,LGモード認識のための高度な深層学習手法を提案する。
LGモードの状態空間を識別することにより、ニューラルネットワークモデルをトレーニングして、与えられたサンプルを分類する。
我々の研究は、構造光に基づく高容量光通信のための新たな道を開く。
論文 参考訳(メタデータ) (2024-03-14T15:03:09Z) - OnDev-LCT: On-Device Lightweight Convolutional Transformers towards
federated learning [29.798780069556074]
フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。
トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
論文 参考訳(メタデータ) (2024-01-22T02:17:36Z) - DiffiT: Diffusion Vision Transformers for Image Generation [94.50195596375316]
Diffusion Vision Transformers (DiffiT) はU字型エンコーダとデコーダを備えたハイブリッド階層アーキテクチャである。
DiffiTは、高忠実度画像を生成するのに驚くほど効果的です。
潜在領域では、DiffiTはImageNet-256データセットで1.73の新しいSOTA FIDスコアを達成している。
論文 参考訳(メタデータ) (2023-12-04T18:57:01Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Forward-Forward Training of an Optical Neural Network [6.311461340782698]
光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。
その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
論文 参考訳(メタデータ) (2023-05-30T16:15:57Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T16:32:29Z) - TL-GAN: Improving Traffic Light Recognition via Data Synthesis for
Autonomous Driving [8.474436072102844]
本稿では,交通信号の自律運転における音声認識を改善するために,レアクラスのデータを合成するための新しい交通信号生成手法TL-GANを提案する。
画像合成段階では、条件付き生成により、生成したトラフィック光画像の色を完全に制御できる。
シーケンス組み立て段階では、現実的で多様なトラフィック光シーケンスを合成するためのスタイル混合および適応テンプレートを設計する。
論文 参考訳(メタデータ) (2022-03-28T18:12:35Z) - Meta Internal Learning [88.68276505511922]
単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。
本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。
以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
論文 参考訳(メタデータ) (2021-10-06T16:27:38Z) - Virtual light transport matrices for non-line-of-sight imaging [19.19505452561486]
光輸送マトリックス(LTM)は、光がシーンとどのように相互作用するかを記述する、ラインオブサイト(LOS)イメージングの計測ツールです。
我々は,NLOS画像のための最近の仮想フォワード光伝搬モデルとLOS光伝達方程式を結合して,NLOSシナリオのLTMを推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-23T15:17:45Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。