論文の概要: Exploring Spatial-Temporal Dynamics in Event-based Facial Micro-Expression Analysis

• arxiv url: http://arxiv.org/abs/2508.11988v1
• Date: Sat, 16 Aug 2025 09:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.501081
• Title: Exploring Spatial-Temporal Dynamics in Event-based Facial Micro-Expression Analysis
• Title（参考訳）: イベントベース顔マイクロ圧縮解析における空間時間ダイナミクスの探索
• Authors: Nicolas Mastropasqua, Ignacio Bugueno-Cordova, Rodrigo Verschae, Daniel Acevedo, Pablo Negri, Maria E. Buemi,
• Abstract要約: 我々は,RGBとイベントカメラを同期して記録した,新しい,予備的なマルチレゾリューションおよびマルチモーダルマイクロ圧縮データセットを提案する。 イベントベースのデータは,マイクロ圧縮認識やフレーム再構成に利用できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Micro-expression analysis has applications in domains such as Human-Robot Interaction and Driver Monitoring Systems. Accurately capturing subtle and fast facial movements remains difficult when relying solely on RGB cameras, due to limitations in temporal resolution and sensitivity to motion blur. Event cameras offer an alternative, with microsecond-level precision, high dynamic range, and low latency. However, public datasets featuring event-based recordings of Action Units are still scarce. In this work, we introduce a novel, preliminary multi-resolution and multi-modal micro-expression dataset recorded with synchronized RGB and event cameras under variable lighting conditions. Two baseline tasks are evaluated to explore the spatial-temporal dynamics of micro-expressions: Action Unit classification using Spiking Neural Networks (51.23\% accuracy with events vs. 23.12\% with RGB), and frame reconstruction using Conditional Variational Autoencoders, achieving SSIM = 0.8513 and PSNR = 26.89 dB with high-resolution event input. These promising results show that event-based data can be used for micro-expression recognition and frame reconstruction.
• Abstract（参考訳）: マイクロ圧縮分析は、ヒューマンロボットインタラクションやドライバモニタリングシステムといった分野に応用されている。 RGBカメラにのみ依存する場合、時間分解能の限界や動きのぼかしに対する感度に制限があるため、正確には微妙で高速な顔の動きを捉えることは依然として困難である。 イベントカメラは、マイクロ秒レベルの精度、高いダイナミックレンジ、低レイテンシを備えた代替手段を提供する。 しかし、アクションユニットのイベントベースの記録を特徴とする公開データセットは依然として少ない。 そこで本研究では,RGBとイベントカメラを同期化して記録した,新しいマルチレゾリューションおよびマルチモーダルマイクロ圧縮データセットを提案する。 SSIM = 0.8513 と PSNR = 26.89 dB を高分解能イベント入力で達成し、スパイキングニューラルネットワークを用いたアクションユニット分類(事象と RGB との精度51.23\% )と条件付き変分オートエンコーダを用いたフレーム再構成(SSIM = 0.8513 と PSNR = 26.89 dB の2つのベースラインタスクを評価した。 これらの有望な結果は、イベントベースのデータをマイクロ圧縮認識やフレーム再構成に利用できることを示している。

関連論文リスト

• Inter-event Interval Microscopy for Event Cameras [52.05337480169517]
  イベントカメラは、革新的なバイオインスパイアされたセンサーであり、強度を直接知覚するのではなく、強度の変化を感知することで従来のカメラとは異なる。 蛍光顕微鏡における静的および動的シーンの静的なイベントカメラを用いたイベント・ツー・インテンシティ変換を実現する。 我々は,ハイダイナミックレンジや高速シナリオなど,様々な場面でIEIMatデータセットを収集した。
  論文  参考訳（メタデータ） (2025-04-07T11:05:13Z)
• Spatio-temporal Transformers for Action Unit Classification with Event Cameras [28.98336123799572]
  本稿では,RGBビデオとイベントストリームからなる時間同期型マルチモーダル顔データセットであるFACEMORPHICを提案する。 映像を手動でアノテートすることなく、時間同期が効果的なニューロモルフィック顔分析を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-10-29T11:23:09Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。