論文の概要: DSEC-MOS: Segment Any Moving Object with Moving Ego Vehicle
- arxiv url: http://arxiv.org/abs/2305.00126v1
- Date: Fri, 28 Apr 2023 23:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 16:59:12.228506
- Title: DSEC-MOS: Segment Any Moving Object with Moving Ego Vehicle
- Title(参考訳): DSEC-MOS:移動自走車で動く物体をセグメンテーション
- Authors: Zhuyun Zhou, Zongwei Wu, R\'emi Boutteau, Fan Yang, Dominique Ginhac
- Abstract要約: 移動物体(MOS)はコンピュータビジョンにおいて重要な課題である。
私たちのデータセットには、動植物に埋め込まれたRGBカメラによってキャプチャされたフレームが含まれています。
我々の知る限りでは、DSEC-MOSは、自律運転におけるイベントカメラを含む、最初の移動オブジェクトセグメンテーションデータセットでもある。
- 参考スコア(独自算出の注目度): 3.7976342096191034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Moving Object Segmentation (MOS), a crucial task in computer vision, has
numerous applications such as surveillance, autonomous driving, and video
analytics. Existing datasets for moving object segmentation mainly focus on RGB
or Lidar videos, but lack additional event information that can enhance the
understanding of dynamic scenes. To address this limitation, we propose a novel
dataset, called DSEC-MOS. Our dataset includes frames captured by RGB cameras
embedded on moving vehicules and incorporates event data, which provide high
temporal resolution and low-latency information about changes in the scenes. To
generate accurate segmentation mask annotations for moving objects, we apply
the recently emerged large model SAM - Segment Anything Model - with moving
object bounding boxes from DSEC-MOD serving as prompts and calibrated RGB
frames, then further revise the results. Our DSEC-MOS dataset contains in total
16 sequences (13314 images). To the best of our knowledge, DSEC-MOS is also the
first moving object segmentation dataset that includes event camera in
autonomous driving. Project Page: https://github.com/ZZY-Zhou/DSEC-MOS.
- Abstract(参考訳): コンピュータビジョンにおける重要なタスクである移動オブジェクトセグメンテーション(MOS)には、監視、自律運転、ビデオ分析など、数多くの応用がある。
オブジェクトセグメンテーションを移動するための既存のデータセットは、主にRGBまたはLidarビデオにフォーカスするが、動的シーンの理解を高めるための追加のイベント情報がない。
この制限に対処するため、DSEC-MOSと呼ばれる新しいデータセットを提案する。
我々のデータセットは、動植物に埋め込まれたRGBカメラで捉えたフレームを含み、イベントデータを組み込んで、シーンの変化に関する高時間分解能と低レイテンシ情報を提供する。
移動オブジェクトに対する正確なセグメンテーションマスクアノテーションを生成するために、最近登場したSAM - Segment Anything Modelを適用し、DSEC-MODから移動オブジェクトバウンディングボックスをプロンプトとして、RGBフレームを校正し、その結果をさらに修正する。
dsec-mosデータセットは合計16のシーケンス(13314のイメージ)を含んでいる。
我々の知る限りでは、DSEC-MOSは、自律運転におけるイベントカメラを含む、最初の移動オブジェクトセグメンテーションデータセットでもある。
プロジェクトページ: https://github.com/zzy-zhou/dsec-mos。
関連論文リスト
- Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation
for Complex Scenes [10.936350433952668]
モーションセグメンテーション(Motion segmentation)とも呼ばれる動的シーン部品の迅速かつ信頼性の高い識別は、モバイルセンサーにとって重要な課題である。
イベントカメラはこれらの制限を克服する可能性があるが、それに対応する方法は小規模の屋内環境でのみ実証されている。
本研究は,複雑な大規模屋外環境にも展開可能な,クラスに依存しない動作セグメンテーションのイベントベース手法を提案する。
論文 参考訳(メタデータ) (2024-03-07T14:59:34Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。
InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。
数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
論文 参考訳(メタデータ) (2023-03-14T17:58:44Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳(メタデータ) (2021-07-22T15:57:18Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z) - Self-supervised Sparse to Dense Motion Segmentation [13.888344214818737]
単一ビデオフレームからスパース動作セグメントの密度化を学習するための自己教師付き手法を提案する。
FBMS59 と DAVIS16 でよく知られた動作セグメンテーションデータセットについて検討した。
論文 参考訳(メタデータ) (2020-08-18T11:40:18Z) - 0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera [13.39518293550118]
本稿では,ボトムアップ機能トラッキングとトップダウン動作補償を組み合わせたモノラルなマルチモーションセグメンテーション手法を提案する。
時間間隔内でのイベントを用いて、本手法はシーンを分割とマージによって複数の動作に分割する。
このアプローチは、EV-IMO、EED、MODデータセットから、挑戦的な現実シナリオと合成シナリオの両方で評価された。
論文 参考訳(メタデータ) (2020-06-11T02:34:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。