論文の概要: Neural Ganglion Sensors: Learning Task-specific Event Cameras Inspired by the Neural Circuit of the Human Retina

• arxiv url: http://arxiv.org/abs/2504.13457v1
• Date: Fri, 18 Apr 2025 04:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:15:20.051859
• Title: Neural Ganglion Sensors: Learning Task-specific Event Cameras Inspired by the Neural Circuit of the Human Retina
• Title（参考訳）: ニューラルガングリオンセンサ:ヒト網膜のニューラルサーキットに触発されたタスク特異的イベントカメラの学習
• Authors: Haley M. So, Gordon Wetzstein,
• Abstract要約: 我々は従来のイベントカメラの拡張であるNeural Ganglion Sensorsを紹介する。 以上の結果から,従来のイベントカメラと比較して生物学的にインスパイアされた感覚によって性能が向上することが示唆された。 これらの発見は、エッジデバイスや他の低消費電力でリアルタイムなアプリケーションに対して、RGCにインスパイアされたイベントセンサーの可能性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 35.26330639016294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the data-efficient spiking mechanism of neurons in the human eye, event cameras were created to achieve high temporal resolution with minimal power and bandwidth requirements by emitting asynchronous, per-pixel intensity changes rather than conventional fixed-frame rate images. Unlike retinal ganglion cells (RGCs) in the human eye, however, which integrate signals from multiple photoreceptors within a receptive field to extract spatio-temporal features, conventional event cameras do not leverage local spatial context when deciding which events to fire. Moreover, the eye contains around 20 different kinds of RGCs operating in parallel, each attuned to different features or conditions. Inspired by this biological design, we introduce Neural Ganglion Sensors, an extension of traditional event cameras that learns task-specific spatio-temporal retinal kernels (i.e., RGC "events"). We evaluate our design on two challenging tasks: video interpolation and optical flow. Our results demonstrate that our biologically inspired sensing improves performance relative to conventional event cameras while reducing overall event bandwidth. These findings highlight the promise of RGC-inspired event sensors for edge devices and other low-power, real-time applications requiring efficient, high-resolution visual streams.
• Abstract（参考訳）: 従来の固定フレームレート画像ではなく,非同期,画素単位の強度変化を発生させることで,時間分解能を最小限の電力と帯域幅で達成するイベントカメラを開発した。 しかし、人間の目の網膜神経節細胞(RGC)とは異なり、複数の光受容体からの信号を受容野に組み込んで時空間の特徴を抽出する従来のイベントカメラでは、どのイベントを発射するかを決定する際に局所的な空間的コンテキストを利用できない。 さらに、眼には20種類のRCCが平行に動作しており、それぞれ異なる特徴や条件に調整されている。 この生物学的設計にインスパイアされたニューラルガングリオンセンサーは、タスク固有の時空間網膜カーネル(すなわちRCCの「イベント」)を学習する伝統的なイベントカメラの拡張である。 我々は,映像補間と光流の2つの課題について設計を評価する。 以上の結果から,生物学的にインスパイアされた感覚は,従来のイベントカメラと比較して性能を向上し,全体のイベント帯域幅を削減できることが示唆された。 これらの発見は、エッジデバイスや、効率的で高解像度のビジュアルストリームを必要とする、低消費電力でリアルタイムなアプリケーションのための、RGCにインスパイアされたイベントセンサーの可能性を浮き彫りにしている。

関連論文リスト

• EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing [2.9795443606634917]
  EyeTrAESは、自然眼球運動の高忠実度追跡のためのニューロモルフィックイベントカメラを用いた新しいアプローチである。 その結果,EyeTrAESの瞳孔追跡精度は6+%向上し,IoU=92%,IoU=32%向上した。 頑健なユーザ認証のために,短期瞳孔運動学の特徴ベクトルを用いて,ユーザ当たりの軽量なランダムフォレスト分類器を訓練する。
  論文  参考訳（メタデータ） (2024-09-27T15:06:05Z)
• Retina-Inspired Object Motion Segmentation for Event-Cameras [0.0]
  イベントカメラは、標準的なアクティブなピクセルカメラをはるかに超える高時間解像度の革命的技術として登場した。 本研究は、視覚的特徴を抽出する追加の網膜機能の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-18T12:28:26Z)
• In the Blink of an Eye: Event-based Emotion Recognition [44.12621619057609]
  本研究では、ウェアラブルな単眼感情認識装置と、感情の部分的な観察から感情を認識するリアルタイムアプローチを導入する。 我々の手法の核心は、バイオインスパイアされたイベントベースのカメラと、新しく設計された軽量スパイキングアイ感情ネットワーク(SEEN)である。
  論文  参考訳（メタデータ） (2023-10-06T06:33:20Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
  ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。 Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-04-19T16:21:14Z)
• Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion Problem for Event-based Cameras [0.0]
  我々は、CMOSイメージセンサ(IRIS)における第2世代のニューロモルフィック画像センサ、統合網膜機能について強調する。 IRISは、光受容体から網膜の出力への完全な網膜計算を模倣し、特徴抽出を目的とする。 この結果から,OMSは従来のRGBやDVSと同様の効率で標準的なコンピュータビジョンタスクを実現できるが,帯域幅の大幅な削減が期待できることがわかった。
  論文  参考訳（メタデータ） (2023-03-24T16:22:06Z)
• Combining Events and Frames using Recurrent Asynchronous Multimodal Networks for Monocular Depth Prediction [51.072733683919246]
  複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。 従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。 平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:24:35Z)
• Real-Time Face & Eye Tracking and Blink Detection using Event Cameras [3.842206880015537]
  イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。 ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を感知し理解するために設計されたキャビン内の安全システムである。 本稿では,運転者監視のための顔と視線を同時に検出・追跡する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T10:02:41Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。