論文の概要: ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation
- arxiv url: http://arxiv.org/abs/2203.11732v1
- Date: Tue, 22 Mar 2022 13:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 18:40:18.847255
- Title: ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation
- Title(参考訳): progressivemotionseg:イベントベースモーションセグメンテーションのための相互強化型フレームワーク
- Authors: Jinze Chen, Yang Wang, Yang Cao, Feng Wu, Zheng-Jun Zha
- Abstract要約: 本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
- 参考スコア(独自算出の注目度): 101.19290845597918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic Vision Sensor (DVS) can asynchronously output the events reflecting
apparent motion of objects with microsecond resolution, and shows great
application potential in monitoring and other fields. However, the output event
stream of existing DVS inevitably contains background activity noise (BA noise)
due to dark current and junction leakage current, which will affect the
temporal correlation of objects, resulting in deteriorated motion estimation
performance. Particularly, the existing filter-based denoising methods cannot
be directly applied to suppress the noise in event stream, since there is no
spatial correlation. To address this issue, this paper presents a novel
progressive framework, in which a Motion Estimation (ME) module and an Event
Denoising (ED) module are jointly optimized in a mutually reinforced manner.
Specifically, based on the maximum sharpness criterion, ME module divides the
input event into several segments by adaptive clustering in a motion
compensating warp field, and captures the temporal correlation of event stream
according to the clustered motion parameters. Taking temporal correlation as
guidance, ED module calculates the confidence that each event belongs to real
activity events, and transmits it to ME module to update energy function of
motion segmentation for noise suppression. The two steps are iteratively
updated until stable motion segmentation results are obtained. Extensive
experimental results on both synthetic and real datasets demonstrate the
superiority of our proposed approaches against the State-Of-The-Art (SOTA)
methods.
- Abstract(参考訳): Dynamic Vision Sensor (DVS) は、マイクロ秒の解像度でオブジェクトの見かけの動きを反映したイベントを非同期に出力し、監視やその他の分野において大きな応用可能性を示す。
しかし、既存のDVSの出力イベントストリームには、暗電流とジャンクションリーク電流によるバックグラウンドアクティビティノイズ(BAノイズ)が必然的に含まれており、オブジェクトの時間的相関に影響を及ぼし、運動推定性能が劣化する。
特に,既存のフィルタに基づくデノナイズ法は,空間相関が存在しないため,イベントストリームのノイズを抑制するために直接適用できない。
本稿では,動き推定(me)モジュールとイベント・デノイジング(ed)モジュールとが協調して相互に強化された方法で最適化される,新しいプログレッシブ・フレームワークを提案する。
具体的には、最大シャープネス基準に基づいて、動作補償ワープフィールドにおける適応クラスタリングにより入力イベントを複数のセグメントに分割し、クラスタ化された動きパラメータに応じてイベントストリームの時間的相関をキャプチャする。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
2つのステップは、安定した動き分割結果が得られるまで反復的に更新される。
合成データセットと実データセットの両方に対する大規模な実験結果から,提案手法のSOTA法に対する優位性が確認された。
関連論文リスト
- Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation
for Complex Scenes [10.936350433952668]
モーションセグメンテーション(Motion segmentation)とも呼ばれる動的シーン部品の迅速かつ信頼性の高い識別は、モバイルセンサーにとって重要な課題である。
イベントカメラはこれらの制限を克服する可能性があるが、それに対応する方法は小規模の屋内環境でのみ実証されている。
本研究は,複雑な大規模屋外環境にも展開可能な,クラスに依存しない動作セグメンテーションのイベントベース手法を提案する。
論文 参考訳(メタデータ) (2024-03-07T14:59:34Z) - Explicit Motion Handling and Interactive Prompting for Video Camouflaged
Object Detection [23.059829327898818]
既存のビデオカモフラージュされた物体検出手法は、暗黙的に入力やモデルの動きとしてノイズのある動きを推定する。
本稿では,動作キューを明示的に処理する EMIP という,VCOD のための Explicit Motion Handing and Interactive Prompting framework を提案する。
EMIPは、カモフラージュされたセグメンテーションと光フロー推定を同時に行う2ストリームアーキテクチャによって特徴付けられる。
論文 参考訳(メタデータ) (2024-03-04T12:11:07Z) - Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳(メタデータ) (2024-02-14T15:56:42Z) - DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
生成学習の観点からSED問題を再構築する。
具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。
トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
論文 参考訳(メタデータ) (2023-08-14T17:29:41Z) - TMA: Temporal Motion Aggregation for Event-based Optical Flow [27.49029251605363]
イベントカメラは、時間分解能の高いオブジェクトの連続的かつ詳細な軌跡を記録できる。
既存の学習に基づくイベント光フロー推定手法は、イベントデータの時間的連続性を無視する。
本稿では,TMA(Temporal Motion Aggregation)アプローチを提案する。
論文 参考訳(メタデータ) (2023-03-21T06:51:31Z) - Representation Learning for Compressed Video Action Recognition via
Attentive Cross-modal Interaction with Motion Enhancement [28.570085937225976]
本稿では,動作強化を伴う注意的クロスモーダルインタラクションネットワークという,新たなフレームワークを提案する。
RGBモダリティ(英語版)とモーションモダリティ(英語版)の2ストリームアーキテクチャ(英語版)に従う。
UCF-101、HMDB-51、Kinetics-400ベンチマークの実験では、MEACI-Netの有効性と効率が示されている。
論文 参考訳(メタデータ) (2022-05-07T06:26:49Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳(メタデータ) (2022-03-14T17:55:41Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳(メタデータ) (2021-07-22T15:57:18Z) - TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。
SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。
CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
論文 参考訳(メタデータ) (2021-06-02T11:43:49Z) - Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。
最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。
チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。
また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
論文 参考訳(メタデータ) (2021-03-23T03:06:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。