論文の概要: Emo-DVS: A Multimodal Benchmark for Privacy-Aware Emotion Recognition with Event Cameras
- arxiv url: http://arxiv.org/abs/2609.06928v1
- Date: Mon, 07 Sep 2026 01:55:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.337161
- Title: Emo-DVS: A Multimodal Benchmark for Privacy-Aware Emotion Recognition with Event Cameras
- Title（参考訳）: Emo-DVS: イベントカメラによるプライバシ認識のためのマルチモーダルベンチマーク
- Abstract要約: バイオインスパイアされたイベントカメラは明るさの変化を捉え、顔認証の詳細の露出を減らす。
本稿では,Emo-DVSのFAUサブセット上にイベントエンコーダを事前トレーニングして,きめ細かい顔のダイナミクスを捉えるIGFフレームワークを提案する。
データ不足を軽減するため、最初の大規模イベントベースの感情分析データセットであるEmo-DVSを導入する。
- 参考スコア（独自算出の注目度）: 28.949201907906765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emotion analysis is a fundamental task in computer vision, but its practical deployment remains constrained by the privacy risks inherent to conventional RGB cameras. Bio-inspired event cameras present a promising hardware-level solution because they capture asynchronous brightness changes, thereby reducing exposure of facial identity details while leveraging high dynamic range for robust perception under challenging illumination conditions. Despite these advantages, existing event-based methods struggle in complex real-world settings due to limited dataset scales, simple acquisition conditions, and reliance on single-modality visual cues. To address these, we establish a challenging tri-modal benchmark with event, audio, and text modalities and propose the Information-Guided Gated Fusion (IGF) framework, which first pre-trains an event encoder on the FAU subset of Emo-DVS to capture fine-grained facial dynamics, then employs adaptive modality gating to suppress modality-specific noise, and finally leverages mutual information maximization to align robust cross-modal representations. To alleviate data scarcity, we introduce Emo-DVS, the first large-scale event-based emotion analysis dataset, which couples dynamic illumination with the Facial Action Unit (FAU) subset and emotion subset. Extensive experiments demonstrate that IGF achieves state-of-the-art performance.
- Abstract（参考訳）: 感情分析はコンピュータビジョンの基本的な課題であるが、その実践的展開は従来のRGBカメラに固有のプライバシーリスクに制約されている。
バイオインスパイアされたイベントカメラは、非同期の明るさ変化を捉え、高いダイナミックレンジを活用しながら、難解な照明条件下での堅牢な認識を可能にしながら、顔認証の詳細の露出を減らすため、有望なハードウェアレベルのソリューションを提供する。
これらのメリットにもかかわらず、既存のイベントベースのメソッドは、データセットスケールの制限、単純な取得条件、単一モードの視覚的キューへの依存など、複雑な現実的な設定に苦慮している。
そこで我々は,まず,Emo-DVS の FAU サブセット上にイベントエンコーダを事前トレーニングして,微粒な顔のダイナミックスをキャプチャし,次に適応的モーダルゲーティングを用いてモーダル固有のノイズを抑圧し,最後に相互情報の最大化を利用して,堅牢なクロスモーダル表現を整合させる,という,イベント・オーディオ・テキストモダリティを用いた3つのモダリティベンチマークを構築した。
データ不足を軽減するため,最初の大規模イベントベースの感情分析データセットであるEmo-DVSを導入する。
広範囲な実験により、IGFは最先端のパフォーマンスを達成することが示された。
関連論文リスト
- Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset [74.66758770936579]
EIC-LIEはイベントイルミネーション協調LIEフレームワークである。
EIC-LIEは、5つの実世界および合成データセットで最先端の手法より優れている。
論文 参考訳（メタデータ） (2026-05-21T08:55:34Z) - EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。
イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。
当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
論文 参考訳（メタデータ） (2026-05-21T08:12:04Z) - DarkShake-DVS: Event-based Human Action Recognition under Low-light andShaking Camera Conditions [31.62492338790292]
HAR(Human Action Recognition)は、現実世界の多様な応用のための基本的なコンピュータビジョンタスクである。
現在の研究では、低照度条件を統合するベンチマークの欠如、6-DoFモーション、同期IMUデータという2つの大きな課題に直面している。
イベントIMU安定化HAR(EIS-HAR)と2つのモジュールを提案する。
論文 参考訳（メタデータ） (2026-05-20T03:47:47Z) - EPRBench: A High-Quality Benchmark Dataset for Event Stream Based Visual Place Recognition [54.55914886780534]
イベントストリームに基づく視覚的位置認識(VPR)は、従来の可視光カメラの不安定性に対して、低照度、過剰露光、高速モーションといった困難な条件下で魅力的な解決策を提供する、新たな研究方向である。
イベントストリームベースのVPR用に特別に設計された高品質なベンチマークであるEPRBenchを紹介する。
EPRBenchは10Kのイベントシーケンスと65Kのイベントフレームで構成され、ハンドヘルドと車載のセットアップを使用して収集され、さまざまな視点、気象条件、照明シナリオで現実世界の課題を包括的にキャプチャする。
論文 参考訳（メタデータ） (2026-02-13T13:25:05Z) - Event-based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning [16.170645576584487]
イベントカメラは、困難な条件下での顔のキーポイントアライメントにユニークな利点を提供する。
本稿では、イベントベースの顔キーポイントアライメントのための、相互統合注意(CMFA)と自己教師型マルチイベント表現学習(SSMER)に基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:00:50Z) - Inter-event Interval Microscopy for Event Cameras [52.05337480169517]
イベントカメラは、革新的なバイオインスパイアされたセンサーであり、強度を直接知覚するのではなく、強度の変化を感知することで従来のカメラとは異なる。
蛍光顕微鏡における静的および動的シーンの静的なイベントカメラを用いたイベント・ツー・インテンシティ変換を実現する。
我々は,ハイダイナミックレンジや高速シナリオなど,様々な場面でIEIMatデータセットを収集した。
論文 参考訳（メタデータ） (2025-04-07T11:05:13Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳（メタデータ） (2025-03-25T15:04:53Z) - Multi-modal Multi-platform Person Re-Identification: Benchmark and Method [58.59888754340054]
MP-ReIDは、マルチモダリティとマルチプラットフォームReIDに特化した新しいデータセットである。
このベンチマークは、RGB、赤外線、サーマルイメージングなど、さまざまなモードで1,930のIDからデータをコンパイルする。
クロスモダリティとクロスプラットフォームシナリオに適した,特定設計のプロンプトを備えたフレームワークであるUni-Prompt ReIDを紹介する。
論文 参考訳（メタデータ） (2025-03-21T12:27:49Z) - Event-assisted Low-Light Video Object Segmentation [47.28027938310957]
イベントカメラは、このような低照度条件下でオブジェクトの可視性を高め、VOSメソッドを支援することを約束する。
本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-02T13:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。