論文の概要: Gaze-Vector Estimation in the Dark with Temporally Encoded Event-driven Neural Networks

• arxiv url: http://arxiv.org/abs/2403.02909v1
• Date: Tue, 5 Mar 2024 12:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 14:57:46.311291
• Title: Gaze-Vector Estimation in the Dark with Temporally Encoded Event-driven Neural Networks
• Title（参考訳）: 時間エンコードされた事象駆動ニューラルネットワークによる暗黒領域の視線ベクトル推定
• Authors: Abeer Banerjee, Naval K. Mehta, Shyam S. Prasad, Himanshu, Sumeet Saurav, Sanjay Singh
• Abstract要約: 本稿では,人間とコンピュータのインタラクションからドライバの監視システムまで,様々なアプリケーションにおいて重要な課題である視線ベクトル予測の難しさに対処する。 我々の革新的なアプローチは、新しい時間的イベントエンコーディングスキームと専用ニューラルネットワークアーキテクチャを活用して、非常に低照度な条件の設定を要求するように設計されています。 我々の研究は、低照度ビデオに挑戦する際の正確な視線ベクトル予測のために、時間的に連続した符号化された画像を扱うニューラルネットワークの有用性を強調し、視線予測技術の進歩に寄与する。
• 参考スコア（独自算出の注目度）: 2.762909189433944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the intricate challenge of gaze vector prediction, a pivotal task with applications ranging from human-computer interaction to driver monitoring systems. Our innovative approach is designed for the demanding setting of extremely low-light conditions, leveraging a novel temporal event encoding scheme, and a dedicated neural network architecture. The temporal encoding method seamlessly integrates Dynamic Vision Sensor (DVS) events with grayscale guide frames, generating consecutively encoded images for input into our neural network. This unique solution not only captures diverse gaze responses from participants within the active age group but also introduces a curated dataset tailored for low-light conditions. The encoded temporal frames paired with our network showcase impressive spatial localization and reliable gaze direction in their predictions. Achieving a remarkable 100-pixel accuracy of 100%, our research underscores the potency of our neural network to work with temporally consecutive encoded images for precise gaze vector predictions in challenging low-light videos, contributing to the advancement of gaze prediction technologies.
• Abstract（参考訳）: 本稿では,人間とコンピュータのインタラクションからドライバの監視システムまで,様々なアプリケーションにおいて重要な課題である視線ベクトル予測の難しさに対処する。 我々の革新的なアプローチは、新しい時間的イベントエンコーディングスキームと専用ニューラルネットワークアーキテクチャを活用して、極低照度条件の設定を要求するように設計されています。 時間符号化法は、動的視覚センサ(dvs)イベントをグレースケールガイドフレームとシームレスに統合し、ニューラルネットワークに入力するための連続符号化画像を生成する。 このユニークなソリューションは、アクティブエイジグループ内の参加者からの多様な視線応答をキャプチャするだけでなく、低照度条件用に調整されたキュレートデータセットも導入する。 符号化された時間フレームをネットワークと組み合わせることで,空間的局所化と信頼性の高い視線方向を予測できる。 100%という驚くべき100ピクセルの精度を達成し、我々の研究は、低照度ビデオの正確な視線ベクトル予測のために、時間的に連続する符号化画像を扱うニューラルネットワークの強みを強調し、視線予測技術の進歩に寄与した。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision [0.06752396542927405]
  イベント駆動グラフニューラルネットワーク(GNN)は、スパースイベントベースのビジョンのための有望なソリューションとして登場した。 我々は,低フットプリント,超低レイテンシ,高精度エッジビジョンのための,最初のイベント駆動型GNNアクセラレータであるEvGNNを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:18:47Z)
• Finding Visual Saliency in Continuous Spike Stream [23.591309376586835]
  本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。 本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。 我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-10T15:15:35Z)
• Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
  イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である 教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。 分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
  論文  参考訳（メタデータ） (2023-02-13T16:17:54Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
  本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。 本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。 また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
  論文  参考訳（メタデータ） (2021-10-22T04:35:58Z)
• Adversarial Attacks on Spiking Convolutional Networks for Event-based Vision [0.6999740786886537]
  我々は、ホワイトボックスの敵対的攻撃アルゴリズムが、イベントベースの視覚データの離散的かつスパースな性質にどのように適応できるかを示す。 また、ニューロモルフィックハードウェア上でのこれらの摂動の有効性を初めて検証した。
  論文  参考訳（メタデータ） (2021-10-06T17:20:05Z)
• Multivariate Time Series Classification Using Spiking Neural Networks [7.273181759304122]
  スパイクニューラルネットワークは低消費電力を可能にするため注目されている。 本稿では,時系列をスパース時空間スパイクパターンに変換する符号化方式を提案する。 空間時間パターンを分類する学習アルゴリズムも提案する。
  論文  参考訳（メタデータ） (2020-07-07T15:24:01Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)
• TimeConvNets: A Deep Time Windowed Convolution Neural Network Design for Real-time Video Facial Expression Recognition [93.0013343535411]
  本研究では、リアルタイムな映像表情認識を目的とした、新しい時間窓付き畳み込みニューラルネットワーク設計(TimeConvNets)について検討する。 我々は,TimeConvNetsが表情の過度なニュアンスを捕捉し,低い推論時間を維持しながら分類精度を高めることができることを示した。
  論文  参考訳（メタデータ） (2020-03-03T20:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。