論文の概要: Deep Domain Adversarial Adaptation for Photon-efficient Imaging Based on Spatiotemporal Inception Network

• arxiv url: http://arxiv.org/abs/2201.02475v1
• Date: Fri, 7 Jan 2022 14:51:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 15:38:20.503237
• Title: Deep Domain Adversarial Adaptation for Photon-efficient Imaging Based on Spatiotemporal Inception Network
• Title（参考訳）: 時空間インセプションネットワークに基づく光子効率イメージングのための深部領域逆適応
• Authors: Yiwei Chen, Gongxin Yao, Yong Liu and Yu Pan
• Abstract要約: 単光子LiDARでは、光子効率の撮像がシーンの3D構造を1ピクセル当たりの信号でキャプチャする。 このタスクの既存のディープラーニングモデルは、シミュレーションデータセットに基づいてトレーニングされている。 本研究では,空間的・時間的情報を完全に活用して,スパース・ハイノイズ光子計数ヒストグラムから奥行きを正確に予測できる光子効率イメージングのためのネットワーク(STIN)を提案する。
• 参考スコア（独自算出の注目度）: 11.58898808789911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In single-photon LiDAR, photon-efficient imaging captures the 3D structure of a scene by only several detected signal photons per pixel. The existing deep learning models for this task are trained on simulated datasets, which poses the domain shift challenge when applied to realistic scenarios. In this paper, we propose a spatiotemporal inception network (STIN) for photon-efficient imaging, which is able to precisely predict the depth from a sparse and high-noise photon counting histogram by fully exploiting spatial and temporal information. Then the domain adversarial adaptation frameworks, including domain-adversarial neural network and adversarial discriminative domain adaptation, are effectively applied to STIN to alleviate the domain shift problem for realistic applications. Comprehensive experiments on the simulated data generated from the NYU~v2 and the Middlebury datasets demonstrate that STIN outperforms the state-of-the-art models at low signal-to-background ratios from 2:10 to 2:100. Moreover, experimental results on the real-world dataset captured by the single-photon imaging prototype show that the STIN with domain adversarial training achieves better generalization performance compared with the state-of-the-arts as well as the baseline STIN trained by simulated data.
• Abstract（参考訳）: 単一光子LiDARでは、光子効率の撮像がシーンの3D構造を1ピクセルあたりの信号光子数個でキャプチャする。 このタスクのための既存のディープラーニングモデルは、シミュレーションデータセット上でトレーニングされ、現実的なシナリオに適用すると、ドメインシフトの課題となる。 本稿では,空間的および時間的情報を十分に活用することで,狭く高雑音な光子計数ヒストグラムから深度を正確に予測することのできる,光子効率画像のための時空間インセプションネットワーク(stin)を提案する。 そこで, 現実的なアプリケーションにおいて, ドメインシフト問題を緩和するために, ドメイン対逆ニューラルネットワークやドメイン対逆的ドメイン適応を含むドメイン対逆適応フレームワークをSTINに効果的に適用する。 nyu~v2とミドルベリーデータセットから生成されたシミュレーションデータに関する包括的な実験は、stinが2:10から2:100までの低信号対バックグランド比で最先端モデルを上回ることを示している。 さらに, 単光子イメージングプロトタイプによって得られた実世界のデータセット実験の結果, STINとドメイン対角トレーニングは, 最先端技術やシミュレーションデータによるベースラインSTINと比較して, より優れた一般化性能が得られることが示された。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• A Deep Learning Approach for SAR Tomographic Imaging of Forested Areas [10.477070348391079]
  我々は,1つのフィードフォワードパスでトモグラフィインバージョンを実行するために,軽量ニューラルネットワークをトレーニング可能であることを示す。 我々は、シミュレーションデータを用いてエンコーダ・デコーダネットワークを訓練し、実LバンドとPバンドのデータに基づいてその手法を検証する。
  論文  参考訳（メタデータ） (2023-01-20T14:34:03Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Robust photon-efficient imaging using a pixel-wise residual shrinkage network [7.557893223548758]
  単光子光検出・測光(LiDAR)は、挑戦的なシナリオで3Dイメージングに広く応用されている。 収集されたデータの信号光子数と高雑音は 深度画像の正確な予測に 大きな課題をもたらしました 高雑音データからの光子効率イメージングのための画素ワイド残差縮小ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-05T05:08:12Z)
• Learning a Model-Driven Variational Network for Deformable Image Registration [89.9830129923847]
  VR-Netは、教師なしの変形可能な画像登録のための新しいカスケード可変ネットワークである。 登録精度において最先端のディープラーニング手法よりも優れています。 ディープラーニングの高速推論速度と変分モデルのデータ効率を維持している。
  論文  参考訳（メタデータ） (2021-05-25T21:37:37Z)
• Sparse Signal Models for Data Augmentation in Deep Learning ATR [0.8999056386710496]
  ドメイン知識を取り入れ,データ集約学習アルゴリズムの一般化能力を向上させるためのデータ拡張手法を提案する。 本研究では,空間領域における散乱中心のスパース性とアジムタル領域における散乱係数の滑らかな変動構造を活かし,過パラメータモデルフィッティングの問題を解く。
  論文  参考訳（メタデータ） (2020-12-16T21:46:33Z)
• Learning Collision-Free Space Detection from Stereo Images: Homography Matrix Brings Better Data Augmentation [16.99302954185652]
  少数のトレーニングサンプルを使用して、深い畳み込みニューラルネットワーク(DCNN)を訓練することは、依然としてオープンな課題です。 本稿では,dcnnの性能向上に有効なトレーニングデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2020-12-14T19:14:35Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。