論文の概要: Quantitative evaluation of brain-inspired vision sensors in high-speed robotic perception

• arxiv url: http://arxiv.org/abs/2504.19253v1
• Date: Sun, 27 Apr 2025 14:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.196074
• Title: Quantitative evaluation of brain-inspired vision sensors in high-speed robotic perception
• Title（参考訳）: 高速ロボット知覚における脳誘発視覚センサの定量的評価
• Authors: Taoyi Wang, Lijian Wang, Yihan Lin, Mingtao Ou, Yuguo Chen, Xinglong Ji, Rong Zhao,
• Abstract要約: ロボット工学における知覚システムは、従来のカメラに依存する場合、高速でダイナミックな状況において重大な課題に直面する。 脳にインスパイアされた視覚センサ(BVS)は、帯域幅と電力を削減した高時間分解能を提供する代替手段として最近注目を集めている。 本稿では、可変速ロボットセンシングにおけるBVSの2つの代表的なクラスに対する最初の定量的評価フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 4.9554369813645325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perception systems in robotics encounter significant challenges in high-speed and dynamic conditions when relying on traditional cameras, where motion blur can compromise spatial feature integrity and task performance. Brain-inspired vision sensors (BVS) have recently gained attention as an alternative, offering high temporal resolution with reduced bandwidth and power requirements. Here, we present the first quantitative evaluation framework for two representative classes of BVSs in variable-speed robotic sensing, including event-based vision sensors (EVS) that detect asynchronous temporal contrasts, and the primitive-based sensor Tianmouc that employs a complementary mechanism to encode both spatiotemporal changes and intensity. A unified testing protocol is established, including crosssensor calibrations, standardized testing platforms, and quality metrics to address differences in data modality. From an imaging standpoint, we evaluate the effects of sensor non-idealities, such as motion-induced distortion, on the capture of structural information. For functional benchmarking, we examine task performance in corner detection and motion estimation under different rotational speeds. Results indicate that EVS performs well in highspeed, sparse scenarios and in modestly fast, complex scenes, but exhibits performance limitations in high-speed, cluttered settings due to pixel-level bandwidth variations and event rate saturation. In comparison, Tianmouc demonstrates consistent performance across sparse and complex scenarios at various speeds, supported by its global, precise, high-speed spatiotemporal gradient samplings. These findings offer valuable insights into the applicationdependent suitability of BVS technologies and support further advancement in this area.
• Abstract（参考訳）: ロボット工学における知覚システムは、動きのぼけが空間的特徴の整合性とタスクパフォーマンスを損なうような従来のカメラに依存する場合、高速でダイナミックな状況において重大な課題に直面する。 脳にインスパイアされた視覚センサ(BVS)は、帯域幅と電力要求を低減した高時間分解能を提供する代替手段として最近注目を集めている。 本稿では,時空間コントラストを検出するイベントベース視覚センサ(EVS)と,時空間変化と強度の両方を符号化する補完機構を用いた原始的センサTianmoucを含む,可変速ロボットセンシングにおけるBVSの2つの代表的なクラスに対する最初の定量的評価フレームワークを提案する。 クロスセンサーキャリブレーション、標準化されたテストプラットフォーム、データモダリティの違いに対処するための品質メトリクスを含む統合テストプロトコルが確立されている。 イメージングの観点から,運動誘発歪みなどのセンサ非イデオロギーが構造情報の取り込みに与える影響を評価する。 機能的ベンチマークにおいて,異なる回転速度下でのコーナー検出と動き推定におけるタスク性能について検討する。 その結果, EVSは高速, スパースシナリオ, やや高速, 複雑なシーンでよく機能するが, 画素レベルの帯域幅変動やイベントレート飽和により, 高速, 散在した設定で性能に制限があることがわかった。 対照的に、Tianmoucは、その大域的、正確で、高速な時空間勾配サンプリングによって支えられた、スパースおよび複雑なシナリオを、様々な速度で一貫した性能を示す。 これらの知見は、BVS技術のアプリケーション依存的適合性に関する貴重な洞察を与え、この分野のさらなる進歩を支援する。

関連論文リスト

• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• Descriptor: Face Detection Dataset for Programmable Threshold-Based Sparse-Vision [0.8271394038014485]
  このデータセットは、Aff-Wild2で使用されるのと同じビデオから派生した顔検出タスクのための注釈付き、時間閾値ベースの視覚データセットである。 我々は,このリソースが時間差閾値に基づいて処理できるスマートセンサに基づく堅牢な視覚システムの開発を支援することを期待する。
  論文  参考訳（メタデータ） (2024-10-01T03:42:03Z)
• DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera [70.28702677370879]
  Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。 その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。 粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
  論文  参考訳（メタデータ） (2024-06-12T07:20:46Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• V2CE: Video to Continuous Events Simulator [1.1009908861287052]
  ダイナミック・ビジョン・センサ(DVS)の特性を考慮した複数視点からのストリーム変換のための新しい手法を提案する。 慎重に設計された一連のタイムスタンプ損失は、生成されたイベントボクセルの品質を大幅に向上させるのに役立つ。 また,イベント・ボクセルからのイベント・タイムスタンプを連続的に再現するための局所動的推論手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T06:06:53Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
  ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。 Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-04-19T16:21:14Z)
• Recurrent Vision Transformers for Object Detection with Event Cameras [62.27246562304705]
  本稿では,イベントカメラを用いた物体検出のための新しいバックボーンであるリカレントビジョントランス (RVT) を提案する。 RVTは、イベントベースのオブジェクト検出で最先端のパフォーマンスに到達するために、ゼロからトレーニングすることができる。 私たちの研究は、イベントベースのビジョンを超えた研究に役立ち得る効果的なデザイン選択に、新たな洞察をもたらします。
  論文  参考訳（メタデータ） (2022-12-11T20:28:59Z)
• High Speed Rotation Estimation with Dynamic Vision Sensors [10.394670846430635]
  EV-Tachの相対平均絶対誤差(RMAE)は0.03%と低い。 EV-Tachは、ユーザの手の微妙な動きに対して堅牢であるため、レーザーが合理的な結果を出さないハンドヘルドデバイスとして使用することができる。
  論文  参考訳（メタデータ） (2022-09-06T04:00:46Z)
• EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors [5.674895233111088]
  本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。 静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。 静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-05-31T03:01:35Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。