論文の概要: Retina-inspired Object Motion Segmentation

• arxiv url: http://arxiv.org/abs/2408.09454v1
• Date: Sun, 18 Aug 2024 12:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 20:30:46.963528
• Title: Retina-inspired Object Motion Segmentation
• Title（参考訳）: 網膜誘発物体運動セグメンテーション
• Authors: Victoria Clerico, Shay Snyder, Arya Lohia, Md Abdullah-Al Kaiser, Gregory Schwartz, Akhilesh Jaiswal, Maryam Parsa,
• Abstract要約: Dynamic Vision Sensors (DVS)は、RGBカメラをはるかに上回る高時間解像度の革命的技術として登場した。 本稿では, バイオインスパイアされたコンピュータビジョンを用いて, 従来よりも1000倍のパラメータ数を劇的に削減する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Vision Sensors (DVS) have emerged as a revolutionary technology with a high temporal resolution that far surpasses RGB cameras. DVS technology draws biological inspiration from photoreceptors and the initial retinal synapse. Our research showcases the potential of additional retinal functionalities to extract visual features. We provide a domain-agnostic and efficient algorithm for ego-motion compensation based on Object Motion Sensitivity (OMS), one of the multiple robust features computed within the mammalian retina. We develop a framework based on experimental neuroscience that translates OMS' biological circuitry to a low-overhead algorithm. OMS processes DVS data from dynamic scenes to perform pixel-wise object motion segmentation. Using a real and a synthetic dataset, we highlight OMS' ability to differentiate object motion from ego-motion, bypassing the need for deep networks. This paper introduces a bio-inspired computer vision method that dramatically reduces the number of parameters by a factor of 1000 compared to prior works. Our work paves the way for robust, high-speed, and low-bandwidth decision-making for in-sensor computations.
• Abstract（参考訳）: Dynamic Vision Sensors (DVS)は、RGBカメラをはるかに上回る高時間解像度の革命的技術として登場した。 DVS技術は、光受容体と初期網膜シナプスから生物学的インスピレーションを得ている。 本研究は,視覚的特徴抽出のための網膜機能追加の可能性を示す。 哺乳動物網膜内で計算される複数の頑健な特徴の1つ,OMS(Object Motion Sensitivity)に基づく,エゴモーション補償のためのドメインに依存しない,効率的なアルゴリズムを提案する。 我々は,OMSの生体回路を低オーバヘッドアルゴリズムに変換する実験神経科学に基づくフレームワークを開発した。 OMSは動的シーンからDVSデータを処理し、ピクセル単位のオブジェクトモーションセグメンテーションを実行する。 リアルおよび合成データセットを用いて、深層ネットワークの必要性を回避し、オブジェクトの動きとエゴモーションを区別するOMSの能力を強調する。 本稿では, バイオインスパイアされたコンピュータビジョンを用いて, 従来よりも1000倍のパラメータ数を劇的に削減する手法を提案する。 本研究は,センサ内計算におけるロバスト,高速,低帯域幅決定の道を開くものである。

関連論文リスト

• Hardware-Algorithm Re-engineering of Retinal Circuit for Intelligent Object Motion Segmentation [0.0]
  我々は、哺乳類網膜の基本的な視覚的特徴であるOMS(Object Motion Sensitivity)に焦点をあてる。 イメージセンサの内部にOMS機能を実装する新しいCMOS回路を提案する。 提案するCMOS回路設計の機能と再構成性は,180nm 技術におけるCadence シミュレーションにより検証する。
  論文  参考訳（メタデータ） (2024-07-31T20:35:11Z)
• TSOM: Small Object Motion Detection Neural Network Inspired by Avian Visual Circuit [4.640328175695991]
  Retina-OT-Rt視覚回路は、高高度から小さな物体の動き情報を捉えることに非常に敏感である。 本稿では,新しい触覚小物体運動検出ニューラルネットワーク(TSOM)を提案する。 TSOMは生物学的に解釈可能であり、複雑な高高度背景から信頼性の高い小さな物体の運動特徴を抽出するのに有効である。
  論文  参考訳（メタデータ） (2024-04-01T01:49:08Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Modelling Human Visual Motion Processing with Trainable Motion Energy Sensing and a Self-attention Network [1.9458156037869137]
  本稿では,生体とコンピュータの視覚モデルとのギャップを埋めることで,人間の動作知覚のイメージ計算可能なモデルを提案する。 このモデルアーキテクチャは、生体視覚システムにおける運動知覚のコア構造であるV1-MTの計算を捉えることを目的としている。 サイリコ神経生理学では、我々のモデルの単位応答は、運動プーリングやスピードチューニングに関する哺乳類の神経記録に類似していることが明らかになっている。
  論文  参考訳（メタデータ） (2023-05-16T04:16:07Z)
• Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion Problem for Event-based Cameras [0.0]
  我々は、CMOSイメージセンサ(IRIS)における第2世代のニューロモルフィック画像センサ、統合網膜機能について強調する。 IRISは、光受容体から網膜の出力への完全な網膜計算を模倣し、特徴抽出を目的とする。 この結果から,OMSは従来のRGBやDVSと同様の効率で標準的なコンピュータビジョンタスクを実現できるが,帯域幅の大幅な削減が期待できることがわかった。
  論文  参考訳（メタデータ） (2023-03-24T16:22:06Z)
• Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
  網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。 提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。 ブタ前眼の精度と再現性について実験を行った。
  論文  参考訳（メタデータ） (2023-01-17T21:41:21Z)
• Neuromorphic Computing and Sensing in Space [69.34740063574921]
  神経型コンピュータチップは、生物学的脳の構造を模倣するように設計されている。 ニューロモルフィックデバイスの低消費電力とエネルギー効率に重点を置くことは、宇宙応用には最適である。
  論文  参考訳（メタデータ） (2022-12-10T07:46:29Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• Visual Odometry with Neuromorphic Resonator Networks [9.903137966539898]
  視覚オドメトリー(英語: Visual Odometry, VO)は、視覚センサを用いた移動ロボットの自走を推定する手法である。 ニューロモルフィックハードウェアは多くのビジョンとAI問題に対する低消費電力のソリューションを提供する。 本稿では,2次元VOタスクにおける最先端性能を実現するモジュール型ニューロモルフィックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:57:03Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。