論文の概要: Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion
Problem for Event-based Cameras
- arxiv url: http://arxiv.org/abs/2303.14114v2
- Date: Mon, 27 Mar 2023 01:55:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 11:39:23.055748
- Title: Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion
Problem for Event-based Cameras
- Title（参考訳）: 物体の動き感度:イベントベースカメラのエゴモーション問題に対するバイオインスパイアソリューション
- Authors: Shay Snyder (1), Hunter Thompson (2), Md Abdullah-Al Kaiser (3),
Gregory Schwartz (4), Akhilesh Jaiswal (3), and Maryam Parsa (1) ((1) George
Mason University, (2) Georgia Institute of Technology, (3) University of
Southern California, (4) Northwestern University)
- Abstract要約: 我々は、CMOSイメージセンサ(IRIS)における第2世代のニューロモルフィック画像センサ、統合網膜機能について強調する。
IRISは、光受容体から網膜の出力への完全な網膜計算を模倣し、特徴抽出を目的とする。
イベントベースカメラのエゴモーション問題を解決するためのOMSの能力について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neuromorphic (event-based) image sensors draw inspiration from the
human-retina to create an electronic device that can process visual stimuli in
a way that closely resembles its biological counterpart. These sensors process
information significantly different than the traditional RGB sensors.
Specifically, the sensory information generated by event-based image sensors
are orders of magnitude sparser compared to that of RGB sensors. The first
generation of neuromorphic image sensors, Dynamic Vision Sensor (DVS), are
inspired by the computations confined to the photoreceptors and the first
retinal synapse. In this work, we highlight the capability of the second
generation of neuromorphic image sensors, Integrated Retinal Functionality in
CMOS Image Sensors (IRIS), which aims to mimic full retinal computations from
photoreceptors to output of the retina (retinal ganglion cells) for targeted
feature-extraction. The feature of choice in this work is Object Motion
Sensitivity (OMS) that is processed locally in the IRIS sensor. We study the
capability of OMS in solving the ego-motion problem of the event-based cameras.
Our results show that OMS can accomplish standard computer vision tasks with
similar efficiency to conventional RGB and DVS solutions but offers drastic
bandwidth reduction. This cuts the wireless and computing power budgets and
opens up vast opportunities in high-speed, robust, energy-efficient, and
low-bandwidth real-time decision making.
- Abstract（参考訳）: ニューロモルフィック(イベントベースの)イメージセンサーは、人間の網膜からインスピレーションを得て、生体によく似た方法で視覚刺激を処理できる電子機器を作る。
これらのセンサーは従来のRGBセンサーとは大きく異なる情報を処理する。
具体的には、イベントベースイメージセンサが生成する知覚情報は、RGBセンサと比べて桁違いのスペーサーである。
第1世代のニューロモルフィック画像センサであるDynamic Vision Sensor (DVS)は、光受容体と最初の網膜シナプスに制限された計算にインスパイアされている。
本研究は,ニューロモルフィック画像センサの第2世代,CMOSイメージセンサ(IRIS)における統合網膜機能(Integrated Retinal Functionality in CMOS Image Sensors)の能力を強調するものである。
この研究で選択される特徴は、IRISセンサーで局所的に処理されるオブジェクト運動感度(OMS)である。
イベントベースカメラのエゴモーション問題を解決するためのOMSの能力について検討する。
OMS は従来の RGB や DVS と同様の効率で標準的なコンピュータビジョンタスクを実現できるが,帯域幅の大幅な削減が可能である。
これにより、ワイヤレスおよびコンピューティングの電力予算が削減され、高速、堅牢、エネルギー効率、低帯域幅のリアルタイム意思決定において大きな機会が開ける。
関連論文リスト
- Retina-inspired Object Motion Segmentation [0.0]
Dynamic Vision Sensors (DVS)は、RGBカメラをはるかに上回る高時間解像度の革命的技術として登場した。
本稿では, バイオインスパイアされたコンピュータビジョンを用いて, 従来よりも1000倍のパラメータ数を劇的に削減する手法を提案する。
論文 参考訳（メタデータ） (2024-08-18T12:28:26Z) - Evetac: An Event-based Optical Tactile Sensor for Robotic Manipulation [20.713880984921385]
Evetacはイベントベースの光学触覚センサーである。
タッチ処理アルゴリズムを開発し,その測定結果を1000Hzでオンラインで処理する。
Evetacの出力とマーカー追跡は、データ駆動スリップの検出と予測モデルを学ぶ上で有意義な機能を提供する。
論文 参考訳（メタデータ） (2023-12-02T22:01:49Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized
Perception with Neural Sensors [42.18718773182277]
従来の画像センサは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。
我々は、純粋なバイナリ演算を用いて、センサ上の時間的特徴を符号化する効率的なリカレントニューラルネットワークアーキテクチャ、PixelRNNの処理を開発する。
PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。
論文 参考訳（メタデータ） (2023-04-11T18:16:47Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - DensePose From WiFi [86.61881052177228]
WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。
本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
論文 参考訳（メタデータ） (2022-12-31T16:48:43Z) - Analyzing General-Purpose Deep-Learning Detection and Segmentation
Models with Images from a Lidar as a Camera Sensor [0.06554326244334865]
本研究は,高度ライダーセンサのイメージライクな出力処理のための汎用DL認識アルゴリズムの可能性について検討する。
3次元の点クラウドデータを処理するのではなく、私たちの知る限りでは、360textの視野を持つ低解像度の画像にフォーカスする最初の試みである。
適切な事前処理を行うことで、汎用DLモデルはこれらの画像を処理し、環境条件下での使用への扉を開くことができることを示す。
論文 参考訳（メタデータ） (2022-03-08T13:14:43Z) - Camera-Based Physiological Sensing: Challenges and Future Directions [5.571184025017747]
我々は、カメラベースの生理学的センシングとより広範なAI駆動型医療コミュニティの分野における4つの研究課題を特定した。
これらの課題を解決することで、医療に正確で公平で汎用的なAIシステムを提供できると信じています。
論文 参考訳（メタデータ） (2021-10-26T02:30:18Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳（メタデータ） (2020-09-01T03:38:31Z) - Learning Camera Miscalibration Detection [83.38916296044394]
本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。
コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。
深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
論文 参考訳（メタデータ） (2020-05-24T10:32:49Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳（メタデータ） (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。