論文の概要: EV-LayerSegNet: Self-supervised Motion Segmentation using Event Cameras
- arxiv url: http://arxiv.org/abs/2506.06596v1
- Date: Sat, 07 Jun 2025 00:07:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.350637
- Title: EV-LayerSegNet: Self-supervised Motion Segmentation using Event Cameras
- Title(参考訳): EV-LayerSegNet:イベントカメラを用いた自律型モーションセグメンテーション
- Authors: Youssef Farah, Federico Paredes-Vallés, Guido De Croon, Muhammad Ahmed Humais, Hussain Sajwani, Yahya Zweiri,
- Abstract要約: イベントベースの動作セグメンテーションのための自己教師型CNNであるEV-LayerSegNetを紹介する。
シーンダイナミクスの階層化表現に着想を得て,アフィン光フローとセグメンテーションマスクを別々に学習することが可能であることを示す。
我々は、アフィンの動きのみを模擬したデータセット上でネットワークをトレーニングし、IoUを達成し、検出率は最大71%と87%である。
- 参考スコア(独自算出の注目度): 7.963546434099396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras are novel bio-inspired sensors that capture motion dynamics with much higher temporal resolution than traditional cameras, since pixels react asynchronously to brightness changes. They are therefore better suited for tasks involving motion such as motion segmentation. However, training event-based networks still represents a difficult challenge, as obtaining ground truth is very expensive, error-prone and limited in frequency. In this article, we introduce EV-LayerSegNet, a self-supervised CNN for event-based motion segmentation. Inspired by a layered representation of the scene dynamics, we show that it is possible to learn affine optical flow and segmentation masks separately, and use them to deblur the input events. The deblurring quality is then measured and used as self-supervised learning loss. We train and test the network on a simulated dataset with only affine motion, achieving IoU and detection rate up to 71% and 87% respectively.
- Abstract(参考訳): イベントカメラは、従来のカメラよりもはるかに高い時間分解能で動きのダイナミクスをキャプチャする、バイオインスパイアされた新しいセンサーである。
したがって、動きのセグメンテーションのような動きに関わるタスクにはより適している。
しかし、イベントベースのネットワークのトレーニングは、真理を得るのは非常に高価であり、エラーが発生し、周波数が制限されるため、依然として難しい課題である。
本稿では,イベントベースの動作セグメンテーションのための自己教師型CNNであるEV-LayerSegNetを紹介する。
シーンダイナミクスの階層化表現に着想を得て,アフィン光フローとセグメンテーションマスクを別々に学習し,入力イベントを損なうことができることを示す。
遅延品質を計測し、自己教師型学習損失として利用する。
我々は、アフィンの動きのみを模擬したデータセット上でネットワークをトレーニングし、IoUを達成し、検出率は最大71%と87%である。
関連論文リスト
- Segment Any Motion in Videos [80.72424676419755]
本研究では,長距離軌道運動キューとDINOに基づく意味的特徴を組み合わせた移動物体セグメンテーションを提案する。
本モデルでは,動作を優先し,セマンティックサポートを統合しつつ,時空間軌道注意と動き・セマンティック・デカップリング・エンベディングを用いた。
論文 参考訳(メタデータ) (2025-03-28T09:34:11Z) - Instance-Level Moving Object Segmentation from a Single Image with Events [84.12761042512452]
移動対象セグメンテーションは、複数の移動対象を含む動的なシーンを理解する上で重要な役割を果たす。
従来の手法では、物体の画素変位がカメラの動きや物体の動きによって引き起こされるかどうかを区別することが困難であった。
近年の進歩は、従来の画像の不適切な動作モデリング機能に対抗するために、新しいイベントカメラの動作感度を利用する。
補完的なテクスチャとモーションキューを統合した,最初のインスタンスレベルの移動オブジェクトセグメンテーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-18T15:56:46Z) - Distractor-aware Event-based Tracking [45.07711356111249]
本稿では,シームズネットワークアーキテクチャ(DANet)にトランスフォーマーモジュールを導入するイベントベースのトラッカーを提案する。
本モデルは主にモーション認識ネットワークとターゲット認識ネットワークで構成され,イベントデータから動作キューとオブジェクトの輪郭の両方を同時に活用する。
私たちのDANetは、後処理なしでエンドツーエンドでトレーニングでき、単一のV100上で80FPS以上で実行できます。
論文 参考訳(メタデータ) (2023-10-22T05:50:20Z) - Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。
ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。
我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
論文 参考訳(メタデータ) (2023-04-28T23:43:10Z) - Event-based Motion Segmentation by Cascaded Two-Level Multi-Model
Fitting [44.97191206895915]
独立に動く物体を単眼イベントカメラで識別するためのケースド2レベル多モデルフィッティング法を提案する。
動作パターンの異なる実世界のシーンにおいて,本手法の有効性と汎用性を示す実験を行った。
論文 参考訳(メタデータ) (2021-11-05T12:59:41Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z) - 0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera [13.39518293550118]
本稿では,ボトムアップ機能トラッキングとトップダウン動作補償を組み合わせたモノラルなマルチモーションセグメンテーション手法を提案する。
時間間隔内でのイベントを用いて、本手法はシーンを分割とマージによって複数の動作に分割する。
このアプローチは、EV-IMO、EED、MODデータセットから、挑戦的な現実シナリオと合成シナリオの両方で評価された。
論文 参考訳(メタデータ) (2020-06-11T02:34:29Z) - End-to-end Learning of Object Motion Estimation from Retinal Events for
Event-based Object Tracking [35.95703377642108]
イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。
この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。
我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
論文 参考訳(メタデータ) (2020-02-14T08:19:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。