論文の概要: 3ET: Efficient Event-based Eye Tracking using a Change-Based ConvLSTM Network

• arxiv url: http://arxiv.org/abs/2308.11771v1
• Date: Tue, 22 Aug 2023 20:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 17:01:22.107434
• Title: 3ET: Efficient Event-based Eye Tracking using a Change-Based ConvLSTM Network
• Title（参考訳）: 3ET:Change-based ConvLSTM Networkを用いた効率的なイベントベースアイトラッキング
• Authors: Qinyu Chen, Zuowen Wang, Shih-Chii Liu, Chang Gao
• Abstract要約: 本稿では、イベントベースの視線追跡のためのスパースチェンジベース Congenerational Long ShortTerm Memory (CB-ConvLSTM) モデルを提案する。 私たちは、従来のフレームベースのカメラよりも、網膜にインスパイアされたイベントカメラ、低遅延応答とスパース出力ストリームの利点を活用しています。
• 参考スコア（独自算出の注目度）: 12.697820427228573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a sparse Change-Based Convolutional Long Short-Term Memory (CB-ConvLSTM) model for event-based eye tracking, key for next-generation wearable healthcare technology such as AR/VR headsets. We leverage the benefits of retina-inspired event cameras, namely their low-latency response and sparse output event stream, over traditional frame-based cameras. Our CB-ConvLSTM architecture efficiently extracts spatio-temporal features for pupil tracking from the event stream, outperforming conventional CNN structures. Utilizing a delta-encoded recurrent path enhancing activation sparsity, CB-ConvLSTM reduces arithmetic operations by approximately 4.7$\times$ without losing accuracy when tested on a \texttt{v2e}-generated event dataset of labeled pupils. This increase in efficiency makes it ideal for real-time eye tracking in resource-constrained devices. The project code and dataset are openly available at \url{https://github.com/qinche106/cb-convlstm-eyetracking}.
• Abstract（参考訳）: 本稿では,AR/VRヘッドセットなどの次世代ウェアラブル医療技術の鍵となる,イベントベースの視線追跡のためのスパースチェンジベース畳み込み長短期記憶(CB-ConvLSTM)モデルを提案する。 我々は、retinaにインスパイアされたイベントカメラの利点、すなわち低遅延応答とスパースな出力イベントストリームを、従来のフレームベースのカメラよりも活用する。 我々のCB-ConvLSTMアーキテクチャは,従来のCNN構造より優れた,イベントストリームからの瞳孔追跡のための時空間的特徴を効率的に抽出する。 CB-ConvLSTMは、デルタ符号化されたリカレントパスによるアクティベーション間隔の増強を利用して、ラベル付き瞳孔のイベントデータセットでテストした場合、精度を損なうことなく算術演算を約4.7$\times$に削減する。 この効率の向上は、リソース制約のあるデバイスのリアルタイムアイトラッキングに理想的だ。 プロジェクトコードとデータセットは \url{https://github.com/qinche106/cb-convlstm-eyetracking} で公開されている。

関連論文リスト

• FACET: Fast and Accurate Event-Based Eye Tracking Using Ellipse Modeling for Extended Reality [14.120171971211777]
  イベントカメラは、高時間分解能と低消費電力のため、有望な代替手段を提供する。 FACET(Fast and Accurate Event-based Eye Tracking)は、イベントデータから瞳孔パラメータを直接出力するエンドツーエンドのニューラルネットワークである。 改良されたEV-Eyeテストセットでは、FACETは平均瞳孔中心誤差0.20ピクセル、推論時間0.53msを達成する。
  論文  参考訳（メタデータ） (2024-09-23T22:31:38Z)
• Are Vision xLSTM Embedded UNet More Reliable in Medical 3D Image Segmentation? [3.1777394653936937]
  本稿では,CNNとVision-xLSTM(Vision-xLSTM)モデルの統合について,UVixLSTMと呼ばれる新しいアプローチを導入することにより検討する。 Vision-xLSTMブロックは、CNN特徴マップから抽出されたパッチ内の時間的およびグローバルな関係をキャプチャする。 UVixLSTMは、公開データセットの最先端ネットワークよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-06-24T08:01:05Z)
• MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
  事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。 点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。 本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
  論文  参考訳（メタデータ） (2024-04-18T11:09:25Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• RN-Net: Reservoir Nodes-Enabled Neuromorphic Vision Sensing Network [7.112892720740359]
  イベントベースのカメラは、生物学的視覚系のスパイクと非同期スパイク表現にインスパイアされている。 本稿では,局所的および大域的貯水池の動的時間エンコーディングと統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。 RN-Netはこれまでに報告されたDV128 Gestureの99.2%の最高精度を達成しており、DVS Lipデータセットの67.5%の最高精度の1つである。
  論文  参考訳（メタデータ） (2023-03-19T21:20:45Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking [79.80401607146987]
  既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。 本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-21T08:12:02Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)
• A Differentiable Recurrent Surface for Asynchronous Event-Based Data [19.605628378366667]
  本研究では,Long Short-Term Memory (LSTM) セルのグリッドであるMatrix-LSTMを提案する。 既存の再構成手法と比較して,学習した事象表面は柔軟性と光フロー推定に優れていた。 N-Carsデータセット上でのイベントベースのオブジェクト分類の最先端性を改善する。
  論文  参考訳（メタデータ） (2020-01-10T14:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。