論文の概要: Unsupervised Motion Segmentation for Neuromorphic Aerial Surveillance

• arxiv url: http://arxiv.org/abs/2405.15209v1
• Date: Fri, 24 May 2024 04:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 17:59:15.004140
• Title: Unsupervised Motion Segmentation for Neuromorphic Aerial Surveillance
• Title（参考訳）: ニューロモルフィックな空中サーベイランスのための教師なしモーションセグメンテーション
• Authors: Sami Arja, Alexandre Marcireau, Saeed Afshar, Bharath Ramesh, Gregory Cohen,
• Abstract要約: イベントカメラには、例外的な時間分解能、優れたダイナミックレンジ、最小限の電力要求がある。 イベントベースモーションセグメンテーションの従来手法には制限があった。 提案手法は,イベントデータと光フロー情報の両方における自己教師型トランスフォーマーの特徴を利用する。
• 参考スコア（独自算出の注目度）: 42.04157319642197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving optimal performance with frame-based vision sensors on aerial platforms poses a significant challenge due to the fundamental tradeoffs between bandwidth and latency. Event cameras, which draw inspiration from biological vision systems, present a promising alternative due to their exceptional temporal resolution, superior dynamic range, and minimal power requirements. Due to these properties, they are well-suited for processing and segmenting fast motions that require rapid reactions. However, previous methods for event-based motion segmentation encountered limitations, such as the need for per-scene parameter tuning or manual labelling to achieve satisfactory results. To overcome these issues, our proposed method leverages features from self-supervised transformers on both event data and optical flow information, eliminating the need for human annotations and reducing the parameter tuning problem. In this paper, we use an event camera with HD resolution onboard a highly dynamic aerial platform in an urban setting. We conduct extensive evaluations of our framework across multiple datasets, demonstrating state-of-the-art performance compared to existing works. Our method can effectively handle various types of motion and an arbitrary number of moving objects. Code and dataset are available at: \url{https://samiarja.github.io/evairborne/}
• Abstract（参考訳）: 無線プラットフォーム上でのフレームベースの視覚センサによる最適性能の実現は、帯域幅とレイテンシの根本的なトレードオフのため、大きな課題となる。 生物学的視覚システムからインスピレーションを得たイベントカメラは、例外的な時間分解能、優れたダイナミックレンジ、最小限の電力要求のために、有望な代替手段を提供する。 これらの性質のため、高速な反応を必要とする高速な運動の処理やセグメンテーションに適している。 しかし、イベントベースの動作セグメンテーションの従来の手法では、シーンごとのパラメータチューニングや、良好な結果を得るために手動ラベリングが必要なといった制限に遭遇した。 これらの課題を克服するために,提案手法では,イベントデータと光フロー情報の両方における自己教師型トランスフォーマーの特徴を活用し,人間のアノテーションの必要性を排除し,パラメータチューニング問題を軽減している。 本稿では,都市環境における高ダイナミックな空中プラットフォーム上でHD解像度のイベントカメラを使用する。 複数のデータセットにまたがってフレームワークを広範囲に評価し、既存の作業と比較して最先端のパフォーマンスを実証する。 本手法は,様々な種類の動きと任意の移動物体を効果的に処理できる。 コードとデータセットは: \url{https://samiarja.github.io/evairborne/}

関連論文リスト

• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [90.66285408745453]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において困難である。 ほとんどの最先端の手法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Event-based Motion Segmentation by Cascaded Two-Level Multi-Model Fitting [44.97191206895915]
  独立に動く物体を単眼イベントカメラで識別するためのケースド2レベル多モデルフィッティング法を提案する。 動作パターンの異なる実世界のシーンにおいて,本手法の有効性と汎用性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-05T12:59:41Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• 0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera [13.39518293550118]
  本稿では,ボトムアップ機能トラッキングとトップダウン動作補償を組み合わせたモノラルなマルチモーションセグメンテーション手法を提案する。 時間間隔内でのイベントを用いて、本手法はシーンを分割とマージによって複数の動作に分割する。 このアプローチは、EV-IMO、EED、MODデータセットから、挑戦的な現実シナリオと合成シナリオの両方で評価された。
  論文  参考訳（メタデータ） (2020-06-11T02:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。