論文の概要: FedMultiEmo: Real-Time Emotion Recognition via Multimodal Federated Learning

• arxiv url: http://arxiv.org/abs/2507.15470v2
• Date: Tue, 22 Jul 2025 06:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 13:10:14.755049
• Title: FedMultiEmo: Real-Time Emotion Recognition via Multimodal Federated Learning
• Title（参考訳）: FedMultiEmo:マルチモーダルフェデレーション学習によるリアルタイム感情認識
• Authors: Baran Can Gül, Suraksha Nadig, Stefanos Tziampazis, Nasser Jazdi, Michael Weyrich,
• Abstract要約: 車内感情認識は、適応運転支援システム、そして究極的には乗員の安全を支えている。 我々は2つの相補的なモダリティを意思決定レベルで融合させるプライバシー保護フレームワークであるFedMultiEmoを紹介する。 開発システムは18ラウンドに収束し、平均ラウンドタイムは120秒、メモリフットプリントは200MB以下である。
• 参考スコア（独自算出の注目度）: 0.6291443816903801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-vehicle emotion recognition underpins adaptive driver-assistance systems and, ultimately, occupant safety. However, practical deployment is hindered by (i) modality fragility - poor lighting and occlusions degrade vision-based methods; (ii) physiological variability - heart-rate and skin-conductance patterns differ across individuals; and (iii) privacy risk - centralized training requires transmission of sensitive data. To address these challenges, we present FedMultiEmo, a privacy-preserving framework that fuses two complementary modalities at the decision level: visual features extracted by a Convolutional Neural Network from facial images, and physiological cues (heart rate, electrodermal activity, and skin temperature) classified by a Random Forest. FedMultiEmo builds on three key elements: (1) a multimodal federated learning pipeline with majority-vote fusion, (2) an end-to-end edge-to-cloud prototype on Raspberry Pi clients and a Flower server, and (3) a personalized Federated Averaging scheme that weights client updates by local data volume. Evaluated on FER2013 and a custom physiological dataset, the federated Convolutional Neural Network attains 77% accuracy, the Random Forest 74%, and their fusion 87%, matching a centralized baseline while keeping all raw data local. The developed system converges in 18 rounds, with an average round time of 120 seconds and a per-client memory footprint below 200 MB. These results indicate that FedMultiEmo offers a practical approach to real-time, privacy-aware emotion recognition in automotive settings.
• Abstract（参考訳）: 車内感情認識は、適応運転支援システム、そして究極的には乗員の安全を支えている。 しかし、実際の展開は妨げられている。 (i)モダリティの脆弱性 -照明の貧弱な点灯及びオクルージョンは、視力に基づく方法を低下させる。 (二)生理的変動-心拍数と皮膚伝導パターンは個人によって異なる。 (iii)プライバシーリスク - 集中的なトレーニングには機密データの送信が必要である。 これらの課題に対処するため,FedMultiEmoは,顔画像から畳み込みニューラルネットワークによって抽出された視覚的特徴と,ランダムフォレストによって分類された生理的手がかり(心拍数,電球活動,皮膚温度)の2つの相補的モダリティを融合したプライバシー保護フレームワークである。 FedMultiEmoは、(1)多数決の融合を伴うマルチモーダルなフェデレート学習パイプライン、(2)Raspberry PiクライアントとFlowerサーバ上のエンドツーエンドのエッジ・ツー・クラウドプロトタイプ、(3)ローカルデータボリュームによってクライアントの更新を重くするパーソナライズされたフェデレーション平均化スキームの3つの重要な要素に基づいて構築されている。 FER2013と独自の生理学的データセットに基づいて評価され、フェデレートされた畳み込みニューラルネットワークは77%の精度、ランダムフォレスト74%、およびそれらの融合87%を獲得し、すべての生データをローカルに保ちながら集中的なベースラインと一致する。 開発システムは18ラウンドに収束し、平均ラウンドタイムは120秒、メモリフットプリントは200MB以下である。 これらの結果は、FedMultiEmoが自動車環境におけるリアルタイムでプライバシーに配慮した感情認識に実践的なアプローチを提供していることを示唆している。

関連論文リスト

• IsoNet: Causal Analysis of Multimodal Transformers for Neuromuscular Gesture Classification [3.847566579393618]
  クロスモーダル相互作用は、トランス層間の決定信号の約30%に寄与する。 この研究は神経ロボティクス系のためのセンサーアレイの設計に有用であろう。
  論文  参考訳（メタデータ） (2025-06-20T04:31:32Z)
• P2MFDS: A Privacy-Preserving Multimodal Fall Detection System for Elderly People in Bathroom Environments [5.364307862877658]
  65歳以上は2050年までに世界の人口の16%を占めると予測されている。 80%以上の滝は、浴室などの湿潤で制限された環境で発生している。 浴室環境における高齢者のプライバシ保護型マルチモーダル転倒検知システムを提案する。
  論文  参考訳（メタデータ） (2025-06-19T05:22:14Z)
• Person Recognition at Altitude and Range: Fusion of Face, Body Shape and Gait [70.00430652562012]
  FarSightは、顔認識のためのエンドツーエンドシステムで、顔、歩行、体形を横断する生体計測の手がかりを統合する。 FarSightは、4つのコアモジュールにまたがる新しいアルゴリズムを組み込んでいる。
  論文  参考訳（メタデータ） (2025-05-07T17:58:25Z)
• DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
  DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。 タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。 シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-07T11:41:18Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Transformer-based Self-supervised Multimodal Representation Learning for Wearable Emotion Recognition [2.4364387374267427]
  ウェアラブル感情認識のための新しい自己教師型学習(SSL)フレームワークを提案する。 本手法は様々な感情分類タスクにおいて最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-03-29T19:45:55Z)
• A Wireless-Vision Dataset for Privacy Preserving Human Activity Recognition [53.41825941088989]
  アクティビティ認識の堅牢性を改善するため,WiNN(WiFi-based and video-based neural network)が提案されている。 以上の結果から,WiViデータセットは一次需要を満足し,パイプライン内の3つのブランチはすべて,80%以上のアクティビティ認識精度を維持していることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T10:49:11Z)
• Mobile Behavioral Biometrics for Passive Authentication [65.94403066225384]
  本研究は, 単モーダルおよび多モーダルな行動的生体特性の比較分析を行った。 HuMIdbは、最大かつ最も包括的なモバイルユーザインタラクションデータベースである。 我々の実験では、最も識別可能な背景センサーは磁力計であり、タッチタスクではキーストロークで最良の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-14T17:05:59Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。