論文の概要: Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2109.02618v1
• Date: Mon, 6 Sep 2021 17:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:33:01.114712
• Title: Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation
• Title（参考訳）: 教師なしドメイン適応によるイベントとフレーム間のギャップの橋渡し
• Authors: Nico Messikommer, Daniel Gehrig, Mathias Gehrig, Davide Scaramuzza
• Abstract要約: 本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
• 参考スコア（独自算出の注目度）: 57.22705137545853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are novel sensors with outstanding properties such as high temporal resolution and high dynamic range. Despite these characteristics, event-based vision has been held back by the shortage of labeled datasets due to the novelty of event cameras. To overcome this drawback, we propose a task transfer method that allows models to be trained directly with labeled images and unlabeled event data. Compared to previous approaches, (i) our method transfers from single images to events instead of high frame rate videos, and (ii) does not rely on paired sensor data. To achieve this, we leverage the generative event model to split event features into content and motion features. This feature split enables to efficiently match the latent space for events and images, which is crucial for a successful task transfer. Thus, our approach unlocks the vast amount of existing image datasets for the training of event-based neural networks. Our task transfer method consistently outperforms methods applicable in the Unsupervised Domain Adaptation setting for object detection by 0.26 mAP (increase by 93%) and classification by 2.7% accuracy.
• Abstract（参考訳）: イベントカメラは、高時間分解能や高ダイナミックレンジといった優れた特性を持つ新しいセンサーである。 これらの特徴にもかかわらず、イベントベースのビジョンは、イベントカメラの新規性によるラベル付きデータセットの不足によって後退してきた。 この欠点を克服するために,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 従来の手法と比較して, (i) 高フレームレートビデオではなく, 単一画像からイベントへ転送する手法であり, (ii) 対のセンサデータに依存しない。 これを実現するために、生成イベントモデルを用いて、イベント特徴をコンテンツとモーション特徴に分割する。 この機能分割は、タスク転送の成功に不可欠であるイベントやイメージの遅延スペースを効率的にマッチングすることを可能にする。 これにより、既存の膨大な画像データセットを解き放ち、イベントベースのニューラルネットワークのトレーニングを行う。 タスク転送法は,オブジェクト検出のための教師なし領域適応設定に適用できる手法を0.26map (93%増加) と2.7%精度で分類した。

関連論文リスト

• Event Camera Data Dense Pre-training [10.918407820258246]
  本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。 フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-11-20T04:36:19Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Masked Event Modeling: Self-Supervised Pretraining for Event Cameras [41.263606382601886]
  Masked Event Modeling (MEM) はイベントの自己組織化フレームワークである。 MEMは、記録されていないイベントのニューラルネットワークを事前トレーニングする。 本手法は3つのデータセットにまたがって最先端の分類精度に達する。
  論文  参考訳（メタデータ） (2022-12-20T15:49:56Z)
• Passive Non-line-of-sight Imaging for Moving Targets with an Event Camera [0.0]
  非視線イメージング(NLOS: Non-line-of-Sight Imaging)は、障害物や角の向こう側の物体を検出する新しい技術である。 受動NLOSの最近の研究は、主に定常測定と再構成方法に焦点を当てている。 イベントベースの受動NLOSイメージング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-27T10:56:14Z)
• ESS: Learning Event-based Semantic Segmentation from Still Images [48.37422967330683]
  イベントベースのセマンティックセグメンテーションは、センサーの新規性と高品質なラベル付きデータセットの欠如により、まだ初期段階にある。 既存のラベル付き画像データセットから、教師なしドメイン適応(UDA)を介してラベルなしイベントにセマンティックセグメンテーションタスクを転送するESSを導入する。 イベントベースのセマンティックセグメンテーションのさらなる研究を促進するために、我々はDSEC-Semanticを導入した。
  論文  参考訳（メタデータ） (2022-03-18T15:30:01Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)
• Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem Formulation [53.850686395708905]
  イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。 本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。 我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
  論文  参考訳（メタデータ） (2020-09-23T10:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。