論文の概要: SuperEvent: Cross-Modal Learning of Event-based Keypoint Detection

• arxiv url: http://arxiv.org/abs/2504.00139v1
• Date: Mon, 31 Mar 2025 18:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:20.537568
• Title: SuperEvent: Cross-Modal Learning of Event-based Keypoint Detection
• Title（参考訳）: SuperEvent: イベントベースのキーポイント検出のクロスモーダル学習
• Authors: Yannick Burkhardt, Simon Schaefer, Stefan Leutenegger,
• Abstract要約: SuperEventは、表現力のある記述子で安定したキーポイントを予測するための、データ駆動のアプローチである。 我々は SuperEvent を,現代的なスパースキーポイントとディスクリプタベースのSLAM フレームワークに統合することで,その有用性を実証する。
• 参考スコア（独自算出の注目度）: 13.42760841894735
• License:
• Abstract: Event-based keypoint detection and matching holds significant potential, enabling the integration of event sensors into highly optimized Visual SLAM systems developed for frame cameras over decades of research. Unfortunately, existing approaches struggle with the motion-dependent appearance of keypoints and the complex noise prevalent in event streams, resulting in severely limited feature matching capabilities and poor performance on downstream tasks. To mitigate this problem, we propose SuperEvent, a data-driven approach to predict stable keypoints with expressive descriptors. Due to the absence of event datasets with ground truth keypoint labels, we leverage existing frame-based keypoint detectors on readily available event-aligned and synchronized gray-scale frames for self-supervision: we generate temporally sparse keypoint pseudo-labels considering that events are a product of both scene appearance and camera motion. Combined with our novel, information-rich event representation, we enable SuperEvent to effectively learn robust keypoint detection and description in event streams. Finally, we demonstrate the usefulness of SuperEvent by its integration into a modern sparse keypoint and descriptor-based SLAM framework originally developed for traditional cameras, surpassing the state-of-the-art in event-based SLAM by a wide margin. Source code and multimedia material are available at smartroboticslab.github.io/SuperEvent.
• Abstract（参考訳）: イベントベースのキーポイント検出とマッチングは大きな可能性を秘めており、数十年にわたる研究でフレームカメラ用に開発された高度に最適化されたVisual SLAMシステムにイベントセンサーを統合することができる。 残念なことに、既存のアプローチでは、キーポイントの動作依存的な出現とイベントストリームで発生する複雑なノイズに苦慮している。 この問題を軽減するために,表現型記述子を用いて安定なキーポイントを予測するためのデータ駆動型アプローチであるSuperEventを提案する。 地上の真理キーポイントラベルを持つイベントデータセットが存在しないため、既存のフレームベースのキーポイント検出器を利用して、容易に利用可能なイベント整列型および同期型グレースケールのフレームをセルフスーパービジョンに利用し、シーンの外観とカメラモーションの両方の産物であるとして、時間的に疎いキーポイント擬似ラベルを生成する。 我々の新しい情報豊富なイベント表現と組み合わせることで、SuperEventはイベントストリームにおけるロバストなキーポイントの検出と記述を効果的に学習することができる。 最後に、従来のカメラ用に開発された現代のスパースキーポイントとディスクリプタベースのSLAMフレームワークに統合することで、SuperEventの有用性を実証する。 ソースコードとマルチメディアは Smartroboticslab.github.io/SuperEvent で入手できる。

関連論文リスト

• EventCrab: Harnessing Frame and Point Synergy for Event-based Action Recognition and Beyond [61.10181853363728]
  イベントベースの行動認識(EAR)は、従来の行動認識と比較して、時間的・プライバシー的保護の利点がある。 EventCrabは、密集イベントフレームのための"より軽い"フレーム特化ネットワークと、スパースイベントポイントのための"より重い"ポイント特化ネットワークとを包括的に統合するフレームワークである。 4つのデータセットの実験は、提案したEventCrabの大幅なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-27T13:28:57Z)
• Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking [32.86991031493605]
  イベントベースのバイオニックカメラは、高時間分解能と高ダイナミックレンジで動的シーンをキャプチャする。 イベントストリームをよりきめ細かいイベントクラスタに分割する動的イベントサブフレーム分割戦略を提案する。 そこで我々は,事象特徴の時間的・空間的相互作用を高めるために,事象に基づくスパースアテンション機構を設計する。
  論文  参考訳（メタデータ） (2024-09-26T06:12:08Z)
• Event-to-Video Conversion for Overhead Object Detection [7.744259147081667]
  イベントカメラは、特にオブジェクト検出などの複雑なタスクにおいて、下流の画像処理を複雑にする。 本稿では,高密度イベント表現とそれに対応するRGBフレームの間には,大きな差があることを述べる。 このギャップを埋めるために、イベントストリームをグレースケールのビデオに変換するイベント間変換モデルを適用する。
  論文  参考訳（メタデータ） (2024-02-09T22:07:39Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding [7.797154022794006]
  EventBindは、イベントベースの認識のためのビジョン言語モデル(VLM)の可能性を解き放つ新しいフレームワークである。 まず、イベントからの時間情報を微妙にモデル化する新しいイベントエンコーダを紹介する。 次に、コンテントプロンプトを生成し、ハイブリッドテキストプロンプトを利用してEventBindの一般化能力を向上するテキストエンコーダを設計する。
  論文  参考訳（メタデータ） (2023-08-06T15:05:42Z)
• Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
  ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。 Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-04-19T16:21:14Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Event Transformer [43.193463048148374]
  イベントカメラの消費電力が低く、マイクロ秒の明るさを捉える能力は、様々なコンピュータビジョンタスクにとって魅力的である。 既存のイベント表現方法は通常、イベントをフレーム、ボクセルグリッド、ディープニューラルネットワーク(DNN)のスパイクに変換する。 この研究はトークンベースの新しいイベント表現を導入し、各イベントはイベントトークンと呼ばれる基本的な処理ユニットと見なされる。
  論文  参考訳（メタデータ） (2022-04-11T15:05:06Z)
• Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
  本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。 我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
  論文  参考訳（メタデータ） (2021-09-13T20:50:37Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。