論文の概要: DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using Domain Adaptation

• arxiv url: http://arxiv.org/abs/2103.12768v1
• Date: Tue, 23 Mar 2021 18:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 14:06:19.071790
• Title: DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using Domain Adaptation
• Title（参考訳）: DA4Event:ドメイン適応を用いたイベントカメラのSim-to-Realギャップのブリッジ化
• Authors: Mirco Planamente and Chiara Plizzari and Marco Cannici and Marco Ciccone and Francesco Strada and Andrea Bottino and Matteo Matteucci and Barbara Caputo
• Abstract要約: イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます これらのセンサーの新規性は、その可能性を解き放つことができる大量のトレーニングデータの欠如をもたらす。 本稿では,フレームベースのイベント表現の特質を活かした新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 22.804074390795734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are novel bio-inspired sensors, which asynchronously capture pixel-level intensity changes in the form of "events". The innovative way they acquire data presents several advantages over standard devices, especially in poor lighting and high-speed motion conditions. However, the novelty of these sensors results in the lack of a large amount of training data capable of fully unlocking their potential. The most common approach implemented by researchers to address this issue is to leverage simulated event data. Yet, this approach comes with an open research question: how well simulated data generalize to real data? To answer this, we propose to exploit, in the event-based context, recent Domain Adaptation (DA) advances in traditional computer vision, showing that DA techniques applied to event data help reduce the sim-to-real gap. To this purpose, we propose a novel architecture, which we call Multi-View DA4E (MV-DA4E), that better exploits the peculiarities of frame-based event representations while also promoting domain invariant characteristics in features. Through extensive experiments, we prove the effectiveness of DA methods and MV-DA4E on N-Caltech101. Moreover, we validate their soundness in a real-world scenario through a cross-domain analysis on the popular RGB-D Object Dataset (ROD), which we extended to the event modality (RGB-E).
• Abstract（参考訳）: イベントカメラは、バイオインスパイアされた新しいセンサーであり、"イベント"の形でピクセルレベルの強度変化を非同期に捉える。 データを取得する革新的な方法は、標準デバイス、特に低照度と高速な動作条件において、いくつかの利点を示す。 しかし、これらのセンサーの新規性により、その潜在能力を完全に解き放つことのできる大量のトレーニングデータが欠如している。 この問題に対処するために研究者が実施する最も一般的なアプローチは、シミュレーションされたイベントデータを活用することである。 しかし、このアプローチにはオープンな研究の質問が伴っている。 そこで我々は,従来のコンピュータビジョンにおける近年のドメイン適応(da)の進歩を生かして,イベントデータに適用したda技術がsim対現実のギャップの低減に寄与することを示す。 そこで本稿では,多視点DA4E(Multi-View DA4E)と呼ばれる新しいアーキテクチャを提案する。 N-Caltech101に対するDA法とMV-DA4Eの有効性を実験的に検証した。 さらに,RGB-D Object Dataset (ROD) のクロスドメイン解析により実世界のシナリオにおける音質を検証し,イベントモダリティ(RGB-E)まで拡張した。

関連論文リスト

• How Important are Data Augmentations to Close the Domain Gap for Object Detection in Orbit? [15.550663626482903]
  宇宙空間におけるコンピュータビジョンの領域ギャップを埋めるためのデータ拡張の有効性について検討する。 本稿では,軌道画像に観察される視覚効果をエミュレートするために開発された2つの新しいデータ拡張法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:24:46Z)
• DailyDVS-200: A Comprehensive Benchmark Dataset for Event-Based Action Recognition [51.96660522869841]
  DailyDVS-200は、イベントベースのアクション認識コミュニティに適したベンチマークデータセットである。 実世界のシナリオで200のアクションカテゴリをカバーし、47人の参加者によって記録され、22,000以上のイベントシーケンスで構成されている。 DailyDVS-200には14の属性がアノテートされており、記録されたアクションの詳細なキャラクタリゼーションが保証されている。
  論文  参考訳（メタデータ） (2024-07-06T15:25:10Z)
• RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications [55.24463002889]
  我々は深度データ合成に焦点をあて、レンジ対応RGB-Dデータシミュレーションパイプライン(RaSim)を開発した。 特に、実世界のセンサーの撮像原理を模倣して高忠実度深度データを生成する。 RaSimは、下流のRGB-D知覚タスクで微調整をすることなく、現実世界のシナリオに直接適用することができる。
  論文  参考訳（メタデータ） (2024-04-05T08:52:32Z)
• ShapeAug: Occlusion Augmentation for Event Camera Data [13.634866461329224]
  ダイナミックビジョンセンサ(DVS)のための新しいイベントデータ拡張手法を提案する。 シーン内でランダムに動く物体の合成イベントを紹介する。 提案手法を複数のDVS分類データセットで検証した結果,トップ1精度が最大6.5%向上した。
  論文  参考訳（メタデータ） (2024-01-04T13:49:45Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SPADES: A Realistic Spacecraft Pose Estimation Dataset using Event Sensing [9.583223655096077]
  実際のターゲットデータセットへのアクセスが限られているため、アルゴリズムはしばしば合成データを使用して訓練され、実際のドメインに適用される。 イベントセンシングは過去にも行われており、シミュレーションと実世界のシナリオの間のドメインギャップを減らすことが示されている。 制御された実験室で取得した実イベントデータと、同じカメラ内在性を用いてイベントデータをシミュレートした新しいデータセットSPADESを提案する。
  論文  参考訳（メタデータ） (2023-11-09T12:14:47Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。