論文の概要: Passive Non-Line-of-Sight Imaging with Light Transport Modulation

• arxiv url: http://arxiv.org/abs/2312.16014v3
• Date: Tue, 05 Nov 2024 06:13:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:55:57.791932
• Title: Passive Non-Line-of-Sight Imaging with Light Transport Modulation
• Title（参考訳）: 光輸送変調を用いたパッシブ非視線イメージング
• Authors: Jiarui Zhang, Ruixu Geng, Xiaolong Du, Yan Chen, Houqiang Li, Yang Hu,
• Abstract要約: 一つのネットワークで複数の光輸送条件を効果的に処理する新しい受動NLOSイメージング法であるNLOS-LTMを提案する。 我々は、投影画像から潜在光輸送表現を推測し、この表現を用いて、投影画像から隠されたイメージを再構成するネットワークを変調する。 大規模受動的NLOSデータセットの実験により,提案手法の優位性を実証した。
• 参考スコア（独自算出の注目度）: 45.992851199035336
• License:
• Abstract: Passive non-line-of-sight (NLOS) imaging has witnessed rapid development in recent years, due to its ability to image objects that are out of sight. The light transport condition plays an important role in this task since changing the conditions will lead to different imaging models. Existing learning-based NLOS methods usually train independent models for different light transport conditions, which is computationally inefficient and impairs the practicality of the models. In this work, we propose NLOS-LTM, a novel passive NLOS imaging method that effectively handles multiple light transport conditions with a single network. We achieve this by inferring a latent light transport representation from the projection image and using this representation to modulate the network that reconstructs the hidden image from the projection image. We train a light transport encoder together with a vector quantizer to obtain the light transport representation. To further regulate this representation, we jointly learn both the reconstruction network and the reprojection network during training. A set of light transport modulation blocks is used to modulate the two jointly trained networks in a multi-scale way. Extensive experiments on a large-scale passive NLOS dataset demonstrate the superiority of the proposed method. The code is available at https://github.com/JerryOctopus/NLOS-LTM.
• Abstract（参考訳）: パッシブ非視線画像(NLOS)は、視界外にある物体を撮影できるため、近年急速に発達している。 光輸送条件は、異なる画像モデルにつながるため、このタスクにおいて重要な役割を果たす。 既存の学習ベースのNLOS法は、通常、異なる光輸送条件の独立モデルを訓練するが、これは計算的に非効率であり、モデルの実用性を損なう。 本研究では,複数の光輸送条件を単一のネットワークで効果的に処理する新しい受動NLOSイメージング手法であるNLOS-LTMを提案する。 我々は、投影画像から潜在光輸送表現を推測し、この表現を用いて、投影画像から隠されたイメージを再構成するネットワークを変調する。 我々は光輸送エンコーダをベクトル量子化器と共に訓練し、光輸送表現を得る。 この表現をさらに規制するために、トレーニング中に再構築ネットワークと再計画ネットワークの両方を共同で学習する。 光輸送変調ブロックのセットは、2つの共同訓練ネットワークをマルチスケールで変調するために使用される。 大規模受動的NLOSデータセットの大規模な実験により,提案手法の優位性を実証した。 コードはhttps://github.com/JerryOctopus/NLOS-LTMで公開されている。

関連論文リスト

• Large Language Models for Multimodal Deformable Image Registration [50.91473745610945]
  そこで本研究では,様々な医用画像からの深い特徴の整合を図るために,新しい粗いMDIRフレームワークLLM-Morphを提案する。 具体的には、まずCNNエンコーダを用いて、クロスモーダル画像ペアから深い視覚的特徴を抽出し、次に、最初のアダプタを使ってこれらのトークンを調整する。 第3に、トークンのアライメントのために、他の4つのアダプタを使用して、LLM符号化トークンをマルチスケールの視覚特徴に変換し、マルチスケールの変形場を生成し、粗いMDIRタスクを容易にする。
  論文  参考訳（メタデータ） (2024-08-20T09:58:30Z)
• OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning [29.798780069556074]
  フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:17:36Z)
• Efficient Multi-scale Network with Learnable Discrete Wavelet Transform for Blind Motion Deblurring [25.36888929483233]
  そこで本研究では,シングルインプットとマルチアウトプット(SIMO)に基づくマルチスケールネットワークを提案する。 実世界の軌道特性を学習可能なウェーブレット変換モジュールと組み合わせて、ぼやけた画像から鋭い画像へのステップバイステップ遷移の方向連続性と周波数特性に着目した。
  論文  参考訳（メタデータ） (2023-12-29T02:59:40Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Forward-Forward Training of an Optical Neural Network [6.311461340782698]
  光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-30T16:15:57Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• TL-GAN: Improving Traffic Light Recognition via Data Synthesis for Autonomous Driving [8.474436072102844]
  本稿では,交通信号の自律運転における音声認識を改善するために,レアクラスのデータを合成するための新しい交通信号生成手法TL-GANを提案する。 画像合成段階では、条件付き生成により、生成したトラフィック光画像の色を完全に制御できる。 シーケンス組み立て段階では、現実的で多様なトラフィック光シーケンスを合成するためのスタイル混合および適応テンプレートを設計する。
  論文  参考訳（メタデータ） (2022-03-28T18:12:35Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• Virtual light transport matrices for non-line-of-sight imaging [19.19505452561486]
  光輸送マトリックス(LTM)は、光がシーンとどのように相互作用するかを記述する、ラインオブサイト(LOS)イメージングの計測ツールです。 我々は,NLOS画像のための最近の仮想フォワード光伝搬モデルとLOS光伝達方程式を結合して,NLOSシナリオのLTMを推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-23T15:17:45Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。