論文の概要: Wandering around: A bioinspired approach to visual attention through object motion sensitivity

• arxiv url: http://arxiv.org/abs/2502.06747v1
• Date: Mon, 10 Feb 2025 18:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:26.794635
• Title: Wandering around: A bioinspired approach to visual attention through object motion sensitivity
• Title（参考訳）: 歩き回る:物体の運動感度による視覚的注意へのバイオインスパイアされたアプローチ
• Authors: Giulia D Angelo, Victoria Clerico, Chiara Bartolozzi, Matej Hoffmann, P. Michael Furlong, Alexander Hadjiivanov,
• Abstract要約: アクティブビジョンは動的視覚認識を可能にし、コンピュータビジョンにおける静的フィードフォワードアーキテクチャの代替を提供する。 哺乳類の網膜に触発されたイベントベースのカメラは、非同期シーンの変化を捉えてこの機能を強化する。 イベントベースのカメラが動いている間、移動物体を識別するためには、エージェントは物体の動きのセグメンテーション機構を必要とする。 本研究は、物体の運動感度を介して選択的注意を喚起するための、畳み込みニューラルネットワークバイオインスパイアされた注意システムを提案する。
• 参考スコア（独自算出の注目度）: 40.966228784674115
• License:
• Abstract: Active vision enables dynamic visual perception, offering an alternative to static feedforward architectures in computer vision, which rely on large datasets and high computational resources. Biological selective attention mechanisms allow agents to focus on salient Regions of Interest (ROIs), reducing computational demand while maintaining real-time responsiveness. Event-based cameras, inspired by the mammalian retina, enhance this capability by capturing asynchronous scene changes enabling efficient low-latency processing. To distinguish moving objects while the event-based camera is in motion the agent requires an object motion segmentation mechanism to accurately detect targets and center them in the visual field (fovea). Integrating event-based sensors with neuromorphic algorithms represents a paradigm shift, using Spiking Neural Networks to parallelize computation and adapt to dynamic environments. This work presents a Spiking Convolutional Neural Network bioinspired attention system for selective attention through object motion sensitivity. The system generates events via fixational eye movements using a Dynamic Vision Sensor integrated into the Speck neuromorphic hardware, mounted on a Pan-Tilt unit, to identify the ROI and saccade toward it. The system, characterized using ideal gratings and benchmarked against the Event Camera Motion Segmentation Dataset, reaches a mean IoU of 82.2% and a mean SSIM of 96% in multi-object motion segmentation. The detection of salient objects reaches 88.8% accuracy in office scenarios and 89.8% in low-light conditions on the Event-Assisted Low-Light Video Object Segmentation Dataset. A real-time demonstrator shows the system's 0.12 s response to dynamic scenes. Its learning-free design ensures robustness across perceptual scenes, making it a reliable foundation for real-time robotic applications serving as a basis for more complex architectures.
• Abstract（参考訳）: アクティブビジョンは動的視覚認識を可能にし、大規模なデータセットと高い計算資源に依存するコンピュータビジョンにおける静的フィードフォワードアーキテクチャの代替を提供する。 生物学的選択的な注意機構により、エージェントは、リアルタイムの応答性を維持しながら計算需要を減らし、利益の健全な領域(ROI)に集中することができる。 哺乳類の網膜にインスパイアされたイベントベースのカメラは、効率的な低遅延処理を可能にする非同期シーン変化をキャプチャすることで、この機能を強化する。 イベントベースのカメラが動いている最中に動く物体を識別するためには、ターゲットを正確に検出し、視野(焦点)に集中する物体運動セグメンテーション機構が必要である。 イベントベースのセンサとニューロモーフィックアルゴリズムを統合することは、Spike Neural Networksを使用して計算を並列化し、動的環境に適応するパラダイムシフトを表している。 本研究では,スパイキング畳み込みニューラルネットワークのバイオインスパイア・アテンションシステムについて,物体の運動感度による選択的アテンションを提案する。 このシステムは、Pan-Tiltユニットに搭載されたSpeckニューロモルフィックハードウェアに組み込まれたDynamic Vision Sensorを使用して、固定眼球運動を介してイベントを生成し、ROIとそれに向けたサケードを識別する。 このシステムは理想的な格子を用いて、イベントカメラモーションセグメンテーションデータセットに対してベンチマークを行い、平均IoUは82.2%、平均SSIMは96%に達した。 サージェントオブジェクトの検出は、オフィスシナリオで88.8%、イベント支援低照度ビデオオブジェクトセグメンテーションデータセットで89.8%に達する。 リアルタイムのデモでは、ダイナミックなシーンに対するシステムの0.12秒の応答を示す。 学習不要の設計により、知覚的なシーン間の堅牢性が保証され、より複雑なアーキテクチャの基礎となるリアルタイムロボットアプリケーションの信頼性の高い基盤となる。

関連論文リスト

• Deep Learning and Hybrid Approaches for Dynamic Scene Analysis, Object Detection and Motion Tracking [0.0]
  本研究の目的は,活動の検出に基づいて映像を小さなクリップに分割する,堅牢な映像監視システムを開発することである。 例えば、CCTVの映像を使って、人や泥棒の外観のような主要なイベントのみを記録し、ストレージを最適化し、デジタル検索がより簡単になる。
  論文  参考訳（メタデータ） (2024-12-05T07:44:40Z)
• Retina-Inspired Object Motion Segmentation for Event-Cameras [0.0]
  イベントカメラは、標準的なアクティブなピクセルカメラをはるかに超える高時間解像度の革命的技術として登場した。 本研究は、視覚的特徴を抽出する追加の網膜機能の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-18T12:28:26Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network [4.386534439007928]
  本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。 GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-16T22:44:29Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• Neuromorphic Eye-in-Hand Visual Servoing [0.9949801888214528]
  イベントカメラは、低レイテンシと広いダイナミックレンジで人間のような視覚機能を提供する。 本稿では,イベントカメラとスイッチング制御戦略を用いて,探索,到達,把握を行う視覚サーボ手法を提案する。 実験は、異なる形状の物体を追跡して把握する手法の有効性を、再学習を必要とせずに証明する。
  論文  参考訳（メタデータ） (2020-04-15T23:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。