論文の概要: Data-driven Feature Tracking for Event Cameras

• arxiv url: http://arxiv.org/abs/2211.12826v1
• Date: Wed, 23 Nov 2022 10:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 15:24:58.741048
• Title: Data-driven Feature Tracking for Event Cameras
• Title（参考訳）: イベントカメラのためのデータ駆動型特徴追跡
• Authors: Nico Messikommer, Carter Fang, Mathias Gehrig, Davide Scaramuzza
• Abstract要約: グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。 合成データから実データへのゼロショットの直接転送により、我々のデータ駆動トラッカーは、相対的特徴年齢において既存のアプローチよりも最大120%向上する。 この性能ギャップは、トラッカーを新しい自己超越戦略で実データに適応させることにより、さらに130%に増大する。
• 参考スコア（独自算出の注目度）: 48.04815194265117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Because of their high temporal resolution, increased resilience to motion blur, and very sparse output, event cameras have been shown to be ideal for low-latency and low-bandwidth feature tracking, even in challenging scenarios. Existing feature tracking methods for event cameras are either handcrafted or derived from first principles but require extensive parameter tuning, are sensitive to noise, and do not generalize to different scenarios due to unmodeled effects. To tackle these deficiencies, we introduce the first data-driven feature tracker for event cameras, which leverages low-latency events to track features detected in a grayscale frame. We achieve robust performance via a novel frame attention module, which shares information across feature tracks. By directly transferring zero-shot from synthetic to real data, our data-driven tracker outperforms existing approaches in relative feature age by up to 120 % while also achieving the lowest latency. This performance gap is further increased to 130 % by adapting our tracker to real data with a novel self-supervision strategy.
• Abstract（参考訳）: 高時間分解能、動きのぼかしに対するレジリエンスの増大、そして非常に少ない出力のため、イベントカメラは挑戦的なシナリオであっても低レイテンシで低帯域幅の特徴追跡に最適であることが示されている。 既存のイベントカメラの特徴追跡手法は手作りか第一原理から派生しているが、広範なパラメータチューニングが必要であり、ノイズに敏感であり、非モデル化効果のために異なるシナリオに一般化しない。 これらの欠陥に対処するために、グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラ用の最初のデータ駆動機能トラッカーを導入する。 特徴トラック間で情報を共有する新しいフレームアテンションモジュールにより,ロバストな性能を実現する。 合成データから実データに直接ゼロショットを転送することで、データ駆動型トラッカーは、相対的な機能年齢における既存のアプローチを最大120パーセント上回り、最も低いレイテンシを達成します。 このパフォーマンスギャップは,新たな自己スーパービジョン戦略によって,トラッカを実データに適用することで,さらに130パーセントまで向上します。

関連論文リスト

• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• Distractor-aware Event-based Tracking [45.07711356111249]
  本稿では,シームズネットワークアーキテクチャ(DANet)にトランスフォーマーモジュールを導入するイベントベースのトラッカーを提案する。 本モデルは主にモーション認識ネットワークとターゲット認識ネットワークで構成され,イベントデータから動作キューとオブジェクトの輪郭の両方を同時に活用する。 私たちのDANetは、後処理なしでエンドツーエンドでトレーニングでき、単一のV100上で80FPS以上で実行できます。
  論文  参考訳（メタデータ） (2023-10-22T05:50:20Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• Moving Object Detection for Event-based vision using Graph Spectral Clustering [6.354824287948164]
  移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。 イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。 さらに,移動物体の最適個数を自動決定する方法について述べる。
  論文  参考訳（メタデータ） (2021-09-30T10:19:22Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。