論文の概要: Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network

• arxiv url: http://arxiv.org/abs/2404.10940v1
• Date: Tue, 16 Apr 2024 22:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 17:42:39.970934
• Title: Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network
• Title（参考訳）: グラフトランスニューラルネットを用いたニューロモルフィック・ビジョンベースモーションセグメンテーション
• Authors: Yusra Alkendi, Rana Azzam, Sajid Javed, Lakmal Seneviratne, Yahya Zweiri,
• Abstract要約: 本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。 GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.386534439007928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Moving object segmentation is critical to interpret scene dynamics for robotic navigation systems in challenging environments. Neuromorphic vision sensors are tailored for motion perception due to their asynchronous nature, high temporal resolution, and reduced power consumption. However, their unconventional output requires novel perception paradigms to leverage their spatially sparse and temporally dense nature. In this work, we propose a novel event-based motion segmentation algorithm using a Graph Transformer Neural Network, dubbed GTNN. Our proposed algorithm processes event streams as 3D graphs by a series of nonlinear transformations to unveil local and global spatiotemporal correlations between events. Based on these correlations, events belonging to moving objects are segmented from the background without prior knowledge of the dynamic scene geometry. The algorithm is trained on publicly available datasets including MOD, EV-IMO, and \textcolor{black}{EV-IMO2} using the proposed training scheme to facilitate efficient training on extensive datasets. Moreover, we introduce the Dynamic Object Mask-aware Event Labeling (DOMEL) approach for generating approximate ground-truth labels for event-based motion segmentation datasets. We use DOMEL to label our own recorded Event dataset for Motion Segmentation (EMS-DOMEL), which we release to the public for further research and benchmarking. Rigorous experiments are conducted on several unseen publicly-available datasets where the results revealed that GTNN outperforms state-of-the-art methods in the presence of dynamic background variations, motion patterns, and multiple dynamic objects with varying sizes and velocities. GTNN achieves significant performance gains with an average increase of 9.4% and 4.5% in terms of motion segmentation accuracy (IoU%) and detection rate (DR%), respectively.
• Abstract（参考訳）: オブジェクトセグメンテーションの移動は、困難な環境でのロボットナビゲーションシステムのためのシーンダイナミクスの解釈に不可欠である。 ニューロモルフィック視覚センサは、その非同期性、高時間分解能、消費電力の低減により、運動知覚のために調整されている。 しかし、その非伝統的な出力は、空間的に疎かで時間的に密集した性質を活用するために、新しい知覚パラダイムを必要とする。 本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは,事象間の局所的および大域的時空間的相関を明らかにするために,一連の非線形変換によって3次元グラフとしてイベントストリームを処理する。 これらの相関関係に基づき、動いた物体に属する事象は、動的シーン幾何学の事前知識なしで背景から区切られる。 このアルゴリズムは、MOD、EV-IMO、および \textcolor{black}{EV-IMO2}などの公開データセットに基づいて、提案したトレーニングスキームを使用して、広範囲なデータセットの効率的なトレーニングを容易にする。 さらに,動的オブジェクトマスクを意識したイベントラベル作成(DOMEL)手法を導入し,イベントベース動作セグメンテーションデータセットの基底構造を近似的に生成する。 DOMELを使用して、記録したイベントデータセットをEMS-DOMEL(Motion Segmentation)にラベル付けしています。 厳密な実験は、GTNNが動的背景変動、動きパターン、そして様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法より優れていることを示した、公開されていないいくつかのデータセットで実施されている。 GTNNは、モーションセグメンテーションの精度(IoU%)と検出率(DR%)において、平均9.4%と4.5%の増加で、大幅な性能向上を実現している。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing [14.67994875448175]
  ビデオスナップショットイメージング(SCI)は、2D検出器を使用してシーケンシャルなビデオフレームをキャプチャし、それらを1つの測定値に圧縮する。 既存の再建手法の多くは、長距離空間および時間的依存関係を効率的に捉えることができない。 グラフニューラルネットワーク(GNN)に基づくフレキシブルでロバストなアプローチを提案し,距離に関わらず,空間と時間における画素間の非局所的相互作用を効率的にモデル化する。
  論文  参考訳（メタデータ） (2022-03-01T12:13:46Z)
• Neuromorphic Camera Denoising using Graph Neural Network-driven Transformers [3.805262583092311]
  ニューロモルフィック・ビジョン(Neuromorphic vision)は、コンピュータビジョンコミュニティのパラダイムシフトを引き起こしたバイオインスパイアされた技術である。 ニューロモルフィックカメラは、かなりの量の計測ノイズに悩まされている。 このノイズは、ニューロモルフィック事象に基づく知覚とナビゲーションアルゴリズムの性能を劣化させる。
  論文  参考訳（メタデータ） (2021-12-17T18:57:36Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Dynamic Graph Convolutional Recurrent Network for Traffic Prediction: Benchmark and Solution [18.309299822858243]
  DGCRN(Dynamic Graph Contemporal Recurrent Network)と呼ばれる新しい交通予測フレームワークを提案する。 DGCRNでは、ハイパーネットワークはノード属性から動的特性を活用して抽出するように設計されている。 我々は、各時間ステップで動的グラフの細かい反復をモデル化する生成法を最初に採用した。
  論文  参考訳（メタデータ） (2021-04-30T11:25:43Z)
• A Differentiable Recurrent Surface for Asynchronous Event-Based Data [19.605628378366667]
  本研究では,Long Short-Term Memory (LSTM) セルのグリッドであるMatrix-LSTMを提案する。 既存の再構成手法と比較して,学習した事象表面は柔軟性と光フロー推定に優れていた。 N-Carsデータセット上でのイベントベースのオブジェクト分類の最先端性を改善する。
  論文  参考訳（メタデータ） (2020-01-10T14:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。