論文の概要: Real-time Motion Segmentation with Event-based Normal Flow
- arxiv url: http://arxiv.org/abs/2602.20790v1
- Date: Tue, 24 Feb 2026 11:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.724779
- Title: Real-time Motion Segmentation with Event-based Normal Flow
- Title(参考訳): イベントベース正規流を用いたリアルタイムモーションセグメンテーション
- Authors: Sheng Zhong, Zhongyang Ren, Xiya Zhu, Dehao Yuan, Cornelia Fermuller, Yi Zhou,
- Abstract要約: イベントベース視覚のための通常のフローベースモーションセグメンテーションフレームワークを提案する。
我々のフレームワークは,オープンソースの最先端手法と比較して約800倍の高速化を実現している。
- 参考スコア(独自算出の注目度): 8.529008281082623
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Event-based cameras are bio-inspired sensors with pixels that independently and asynchronously respond to brightness changes at microsecond resolution, offering the potential to handle visual tasks in challenging scenarios. However, due to the sparse information content in individual events, directly processing the raw event data to solve vision tasks is highly inefficient, which severely limits the applicability of state-of-the-art methods in real-time tasks, such as motion segmentation, a fundamental task for dynamic scene understanding. Incorporating normal flow as an intermediate representation to compress motion information from event clusters within a localized region provides a more effective solution. In this work, we propose a normal flow-based motion segmentation framework for event-based vision. Leveraging the dense normal flow directly learned from event neighborhoods as input, we formulate the motion segmentation task as an energy minimization problem solved via graph cuts, and optimize it iteratively with normal flow clustering and motion model fitting. By using a normal flow-based motion model initialization and fitting method, the proposed system is able to efficiently estimate the motion models of independently moving objects with only a limited number of candidate models, which significantly reduces the computational complexity and ensures real-time performance, achieving nearly a 800x speedup in comparison to the open-source state-of-the-art method. Extensive evaluations on multiple public datasets fully demonstrate the accuracy and efficiency of our framework.
- Abstract(参考訳): イベントベースのカメラはバイオインスパイアされたセンサーで、独立してマイクロ秒の解像度で明るさの変化に非同期に反応する。
しかし、個々のイベントにおけるスパース情報の内容のため、視覚課題を解決するために生のイベントデータを直接処理するのは非常に非効率であり、動的シーン理解の基本的なタスクであるモーションセグメンテーションのようなリアルタイムタスクにおける最先端の手法の適用性を著しく制限する。
通常の流れを中間表現として組み込んで、局所領域内のイベントクラスタからの動作情報を圧縮することで、より効果的な解が得られる。
本研究では,イベントベース視覚のための通常のフローベースモーションセグメンテーションフレームワークを提案する。
イベント近傍から直接学習した高密度な正規流を入力として、グラフ切断によるエネルギー最小化問題として運動セグメント化タスクを定式化し、通常のフロークラスタリングとモーションモデルフィッティングで反復的に最適化する。
従来のフローベース動作モデルの初期化とフィッティング手法を用いることで,有限個の候補モデルのみで独立に動く物体の運動モデルを効率的に推定し,計算複雑性を著しく低減し,実時間性能を向上し,オープンソースの最先端手法と比較して約800倍の高速化を実現した。
複数の公開データセットに対する大規模な評価は、我々のフレームワークの正確性と効率性を十分に示している。
関連論文リスト
- Event-based Visual Deformation Measurement [76.25283405575108]
視覚的変形測定は、カメラ観測から表面の動きを追跡することによって、高密度な変形場を復元することを目的としている。
従来の画像ベースの手法は、対応検索空間を制限するため、最小限のフレーム間動作に依存している。
本研究では,時間的に密集した動きキューやフレームのイベントを利用して,空間的に密集した正確な推定を行うイベントフレーム融合フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-16T01:04:48Z) - MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。
我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。
また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
論文 参考訳(メタデータ) (2025-09-28T04:20:56Z) - Motion Segmentation and Egomotion Estimation from Event-Based Normal Flow [8.869407907066005]
本稿では,イベントベース正規流を用いた動きのセグメンテーションとエゴモーション推定のための頑健なフレームワークを提案する。
提案手法は, 希薄かつ高時間分解能なイベントデータを利用して, 通常の流れ, シーン構造, 慣性測定の幾何学的制約を取り入れたものである。
論文 参考訳(メタデータ) (2025-07-19T06:11:09Z) - SemanticFlow: A Self-Supervised Framework for Joint Scene Flow Prediction and Instance Segmentation in Dynamic Environments [10.303368447554591]
本稿では,全時間点雲のシーンフローとインスタンスセグメンテーションを同時に予測するマルチタスクフレームワークを提案する。
1)静的な背景と動的オブジェクトの最初の粗いセグメンテーションを用いて、共有特徴処理モジュールを介して動きと意味情報を精製するためのコンテキスト情報を提供するマルチタスクスキームの開発,2)シーンフロー推定とインスタンスセグメンテーションの性能を高めるための損失関数セットの開発,そして,交通シーン内の静的および動的オブジェクトの空間的および時間的一貫性を確保することを支援すること,3)粗い学習スキームの開発。
論文 参考訳(メタデータ) (2025-03-19T02:43:19Z) - Instance-Level Moving Object Segmentation from a Single Image with Events [84.12761042512452]
移動対象セグメンテーションは、複数の移動対象を含む動的なシーンを理解する上で重要な役割を果たす。
従来の手法では、物体の画素変位がカメラの動きや物体の動きによって引き起こされるかどうかを区別することが困難であった。
近年の進歩は、従来の画像の不適切な動作モデリング機能に対抗するために、新しいイベントカメラの動作感度を利用する。
補完的なテクスチャとモーションキューを統合した,最初のインスタンスレベルの移動オブジェクトセグメンテーションフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-18T15:56:46Z) - MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking [58.719310295870024]
本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。
事象の間隔に起因する曖昧さを解決するため、運動誘導モジュールは運動ベクトルを局所的なマッチングプロセスに組み込む。
このメソッドは、任意のポイントベースラインのイベントのみのトラッキングに対して、$Survival_50$メトリックを17.9%改善する。
論文 参考訳(メタデータ) (2024-12-02T09:13:29Z) - Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳(メタデータ) (2024-07-15T15:18:28Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳(メタデータ) (2023-08-11T04:27:29Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。