論文の概要: In the Blink of an Eye: Event-based Emotion Recognition

• arxiv url: http://arxiv.org/abs/2310.04043v1
• Date: Fri, 6 Oct 2023 06:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 23:16:57.949683
• Title: In the Blink of an Eye: Event-based Emotion Recognition
• Title（参考訳）: 瞬きの中で:イベントベースの感情認識
• Authors: Haiwei Zhang, Jiqing Zhang, Bo Dong, Pieter Peers, Wenwei Wu, Xiaopeng Wei, Felix Heide, Xin Yang
• Abstract要約: 本研究では、ウェアラブルな単眼感情認識装置と、感情の部分的な観察から感情を認識するリアルタイムアプローチを導入する。 我々の手法の核心は、バイオインスパイアされたイベントベースのカメラと、新しく設計された軽量スパイキングアイ感情ネットワーク(SEEN)である。
• 参考スコア（独自算出の注目度）: 44.12621619057609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a wearable single-eye emotion recognition device and a real-time approach to recognizing emotions from partial observations of an emotion that is robust to changes in lighting conditions. At the heart of our method is a bio-inspired event-based camera setup and a newly designed lightweight Spiking Eye Emotion Network (SEEN). Compared to conventional cameras, event-based cameras offer a higher dynamic range (up to 140 dB vs. 80 dB) and a higher temporal resolution. Thus, the captured events can encode rich temporal cues under challenging lighting conditions. However, these events lack texture information, posing problems in decoding temporal information effectively. SEEN tackles this issue from two different perspectives. First, we adopt convolutional spiking layers to take advantage of the spiking neural network's ability to decode pertinent temporal information. Second, SEEN learns to extract essential spatial cues from corresponding intensity frames and leverages a novel weight-copy scheme to convey spatial attention to the convolutional spiking layers during training and inference. We extensively validate and demonstrate the effectiveness of our approach on a specially collected Single-eye Event-based Emotion (SEE) dataset. To the best of our knowledge, our method is the first eye-based emotion recognition method that leverages event-based cameras and spiking neural network.
• Abstract（参考訳）: 本稿では,ウェアラブルな単眼感情認識デバイスと,照明条件の変化にロバストな感情の部分的観察から感情をリアルタイムに認識する手法を提案する。 我々の手法の核心は、バイオインスパイアされたイベントベースのカメラと、新しく設計された軽量スパイキングアイ感情ネットワーク(SEEN)である。 従来のカメラと比較して、イベントベースのカメラはよりダイナミックレンジ(最大140dB vs. 80dB)が高く、時間分解能が高い。 したがって、捕獲されたイベントは、困難な照明条件下で、豊富な時間的手がかりを符号化することができる。 しかし,これらのイベントにはテクスチャ情報がなく,時間情報の復号化に問題がある。 SEENは2つの異なる視点からこの問題に取り組む。 まず,スパイキングニューラルネットワークの時間的情報をデコードする能力を活用するために,畳み込みスパイキング層を採用する。 第2に,対応する強度フレームから本質的な空間的手がかりを抽出することを学び,新しい重み共役スキームを用いて,学習および推論中に畳み込みスパイキング層に空間的注意を向ける。 我々は,SEE(Single-eye Event-based Emotion)データセットに対するアプローチの有効性を広く検証し,実証した。 私たちの知る限りでは、この手法はイベントベースのカメラとスパイクニューラルネットワークを利用した最初の視線に基づく感情認識手法です。

関連論文リスト

• Apprenticeship-Inspired Elegance: Synergistic Knowledge Distillation Empowers Spiking Neural Networks for Efficient Single-Eye Emotion Recognition [53.359383163184425]
  本稿では, 効率的な単一眼球運動認識タスクに適した, マルチモーダル・シナジスティック知識蒸留方式を提案する。 この方法では、軽量で単調な学生スパイクニューラルネットワーク(SNN)が、イベントフレームマルチモーダル教師ネットワークから豊富な知識を抽出することができる。
  論文  参考訳（メタデータ） (2024-06-20T07:24:47Z)
• Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
  感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。 ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。 4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
  論文  参考訳（メタデータ） (2024-04-18T15:28:34Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• Cross-modal Place Recognition in Image Databases using Event-based Sensors [28.124708490967713]
  イベントクエリが与えられたデータベースから正規画像を取得することができる,最初のクロスプラットフォームな視覚的位置認識フレームワークを提案する。 本手法は,ブリスベン-イベント-VPRデータセット上での最先端のフレームベースおよびイベントベース手法に関する有望な結果を示す。
  論文  参考訳（メタデータ） (2023-07-03T14:24:04Z)
• Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks [55.81577205593956]
  イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。 深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
  論文  参考訳（メタデータ） (2023-02-17T14:19:28Z)
• Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild [31.40575057347465]
  私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。 身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。 我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
  論文  参考訳（メタデータ） (2021-05-16T17:31:59Z)
• Real-Time Face & Eye Tracking and Blink Detection using Event Cameras [3.842206880015537]
  イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。 ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を感知し理解するために設計されたキャビン内の安全システムである。 本稿では,運転者監視のための顔と視線を同時に検出・追跡する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T10:02:41Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter [62.26677215668959]
  本稿では,意味的に有意な領域を粗い位置で特定する,軽量で教師付きの深層ネットワークを提案する。 次に,これらセマンティック・サリエント領域の深層モデルを画素ワイド・サリエンシ改善として融合する。 提案手法は単純だが有効であり,本手法は主眼をオブジェクトレベルのセマンティック・リグレード問題とみなすための最初の試みである。
  論文  参考訳（メタデータ） (2020-08-10T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。