論文の概要: Event-Free Moving Object Segmentation from Moving Ego Vehicle
- arxiv url: http://arxiv.org/abs/2305.00126v2
- Date: Tue, 28 Nov 2023 13:12:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 16:16:47.424885
- Title: Event-Free Moving Object Segmentation from Moving Ego Vehicle
- Title（参考訳）: 移動自走車からのイベントフリー移動物体セグメンテーション
- Authors: Zhuyun Zhou, Zongwei Wu, Danda Pani Paudel, R\'emi Boutteau, Fan Yang,
Luc Van Gool, Radu Timofte, Dominique Ginhac
- Abstract要約: 動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において困難である。
ほとんどの最先端の手法は、光学フローマップから得られるモーションキューを利用する。
我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
- 参考スコア（独自算出の注目度）: 90.66285408745453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Moving object segmentation (MOS) in dynamic scenes is challenging for
autonomous driving, especially for sequences obtained from moving ego vehicles.
Most state-of-the-art methods leverage motion cues obtained from optical flow
maps. However, since these methods are often based on optical flows that are
pre-computed from successive RGB frames, this neglects the temporal
consideration of events occurring within inter-frame and limits the
practicality of these methods in real-life situations. To address these
limitations, we propose to exploit event cameras for better video
understanding, which provide rich motion cues without relying on optical flow.
To foster research in this area, we first introduce a novel large-scale dataset
called DSEC-MOS for moving object segmentation from moving ego vehicles.
Subsequently, we devise EmoFormer, a novel network able to exploit the event
data. For this purpose, we fuse the event prior with spatial semantic maps to
distinguish moving objects from the static background, adding another level of
dense supervision around our object of interest - moving ones. Our proposed
network relies only on event data for training but does not require event input
during inference, making it directly comparable to frame-only methods in terms
of efficiency and more widely usable in many application cases. An exhaustive
comparison with 8 state-of-the-art video object segmentation methods highlights
a significant performance improvement of our method over all other methods.
Project Page: https://github.com/ZZY-Zhou/DSEC-MOS.
- Abstract（参考訳）: 動的シーンにおける移動物体セグメンテーション(MOS)は、特に移動エゴ車から得られるシーケンスにおいて自律運転において困難である。
ほとんどの最先端の手法は光学フローマップから得られる動きキューを利用する。
しかし、これらの手法はしばしば連続するrgbフレームから予め計算された光学フローに基づいているため、フレーム間で起こる事象の時間的考察を無視し、現実の状況においてこれらの方法の実用性を制限している。
これらの制約に対処するために,光学的フローに頼ることなくリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを提案する。
この領域の研究を促進するため,我々はまず,移動する自走車から物体のセグメンテーションを動かすために,dsec-mosと呼ばれる新しい大規模データセットを導入した。
次に、イベントデータを活用可能な新しいネットワークであるemoformerを考案する。
この目的のために、オブジェクトを静的な背景から区別するために、以前のイベントと空間的なセマンティックマップを融合させ、関心のあるオブジェクト(移動対象)の周りに別のレベルの密接な監督を加えます。
提案するネットワークは,トレーニングにイベントデータのみに依存するが,推論時にイベント入力を必要としないため,効率の面でフレームのみの手法と直接的に比較でき,多くのアプリケーションでより広く利用することができる。
8つの最先端ビデオオブジェクトセグメンテーション手法と徹底的に比較した結果,他の手法よりも優れた性能向上が得られた。
プロジェクトページ: https://github.com/zzy-zhou/dsec-mos。
関連論文リスト
- StreamMOS: Streaming Moving Object Segmentation with Multi-View Perception and Dual-Span Memory [21.300636683882338]
本稿では,複数の推論における特徴と予測の関連性を構築するために,StreamMOSと呼ばれるメモリ機構を備えたストリーミングネットワークを提案する。
具体的には、移動物体に先立って空間的と考えられる歴史的特徴を伝えるために、短期記憶を利用する。
また、投影と非対称畳み込みを備えた多視点エンコーダを提案し、異なる表現で物体の運動特徴を抽出する。
論文 参考訳（メタデータ） (2024-07-25T09:51:09Z) - Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T04:36:13Z) - Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation
for Complex Scenes [10.936350433952668]
モーションセグメンテーション(Motion segmentation)とも呼ばれる動的シーン部品の迅速かつ信頼性の高い識別は、モバイルセンサーにとって重要な課題である。
イベントカメラはこれらの制限を克服する可能性があるが、それに対応する方法は小規模の屋内環境でのみ実証されている。
本研究は,複雑な大規模屋外環境にも展開可能な,クラスに依存しない動作セグメンテーションのイベントベース手法を提案する。
論文 参考訳（メタデータ） (2024-03-07T14:59:34Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - InstMove: Instance Motion for Object-centric Video Segmentation [70.16915119724757]
本研究では,オブジェクト中心ビデオのインスタンス・モーションを表すInstMoveとインスタンス・レベル・モーションについて検討する。
InstMoveは主に画像特徴の埋め込みのないインスタンスレベルのモーション情報に依存している。
数行のコードだけで、InstMoveは3つの異なるビデオセグメンテーションタスクのために、現在のSOTAメソッドに統合できる。
論文 参考訳（メタデータ） (2023-03-14T17:58:44Z) - InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data [13.196031553445117]
本稿では,3次元LiDARスキャンにおける移動物体のセグメント化という課題に対処する新しいネットワークを提案する。
提案手法は点雲の列を入力として利用し,それらを4次元ボクセルに定量化する。
我々は,4Dボクセルから運動特徴を抽出し,電流スキャンに注入するために,4Dスパース畳み込みを用いる。
論文 参考訳（メタデータ） (2023-03-07T14:12:52Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳（メタデータ） (2021-07-22T15:57:18Z) - DS-Net: Dynamic Spatiotemporal Network for Video Salient Object
Detection [78.04869214450963]
時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。
提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-09T06:42:30Z) - Self-supervised Sparse to Dense Motion Segmentation [13.888344214818737]
単一ビデオフレームからスパース動作セグメントの密度化を学習するための自己教師付き手法を提案する。
FBMS59 と DAVIS16 でよく知られた動作セグメンテーションデータセットについて検討した。
論文 参考訳（メタデータ） (2020-08-18T11:40:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。