論文の概要: RAFM-SER++: A Lightweight Multimodal Emotion Recognition Framework for Real-Time Behavioral Monitoring in Surveillance Systems
- arxiv url: http://arxiv.org/abs/2609.07409v1
- Date: Mon, 07 Sep 2026 12:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.422391
- Title: RAFM-SER++: A Lightweight Multimodal Emotion Recognition Framework for Real-Time Behavioral Monitoring in Surveillance Systems
- Title（参考訳）: RAFM-SER++:サーベイランスシステムにおけるリアルタイム行動監視のための軽量マルチモーダル感情認識フレームワーク
- Abstract要約: RAFM_SER++は、非対称残留注意融合機構(RAFM)を備えた軽量マルチモーダル音声感情認識(SER)フレームワークである。
RAFMは、感情的な音声キューを1方向の残留注意経路を通じて意味的なテキスト表現に注入する。
RAFM_SER++はHuBERTベースラインを一貫して上回り、最先端のMemoCMTに比べて精度と効率のトレードオフが優れている。
- 参考スコア（独自算出の注目度）: 13.075788836823326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent multimodal Speech Emotion Recognition (SER) systems achieve high accuracy through interaction-heavy cross-modal transformers, but their computational cost limits deployment in latency-sensitive and resource-constrained surveillance systems. To address this challenge, we propose RAFM_SER++, a lightweight multimodal SER framework featuring an asymmetric Residual Attention Fusion Mechanism (RAFM). Rather than relying on computationally expensive bidirectional interactions, RAFM injects affective speech cues into semantic text representations through a one-directional residual attention pathway. Combined with a BYOL-inspired cross-modal alignment objective and attention-guided pooling, the proposed framework improves multimodal representation learning while maintaining low computational overhead. Experiments on the IEMOCAP and ESD benchmarks demonstrate that RAFM_SER++ consistently outperforms the HuBERT-Base baseline and achieves a superior accuracy-efficiency trade-off compared with the state-of-the-art MemoCMT. Specifically, RAFM_SER++ reduces trainable parameters by more than 60%, achieves faster inference (79.60 it/s), and attains BACC scores of 81.10% on IEMOCAP and 95.39% on ESD. These results indicate that lightweight asymmetric multimodal fusion is an effective alternative to interaction-heavy cross-modal transformers for real-time surveillance applications.
- Abstract（参考訳）: 近年のマルチモーダル音声感情認識(SER)システムは,対話重度クロスモーダルトランスフォーマーによって高い精度を達成しているが,その計算コストは遅延感度およびリソース制約による監視システムへの展開を制限する。
この課題に対処するために,非対称なResidual Attention Fusion Mechanism(RAFM)を備えた軽量マルチモーダルSERフレームワークであるRAFM_SER++を提案する。
RAFMは計算に費用がかかる双方向の相互作用に頼るのではなく、感情的な音声キューを1方向の残留注意経路を通じて意味的なテキスト表現に注入する。
BYOLにインスパイアされたクロスモーダルアライメントとアテンション誘導プーリングを組み合わせることで,低計算オーバーヘッドを維持しながらマルチモーダル表現学習を改善する。
IEMOCAPとESDベンチマークの実験は、RAFM_SER++がHuBERT-Baseベースラインを一貫して上回り、最先端のMemoCMTと比較して精度と効率のトレードオフが優れていることを示した。
具体的には、RAFM_SER++はトレーニング可能なパラメータを60%以上削減し、より高速な推論(79.60 it/s)を実現し、IEMOCAPで81.10%、ESDで95.39%のBACCスコアを得る。
これらの結果から,軽量な非対称多モード核融合は,リアルタイム監視のための相互作用重度クロスモーダル変圧器の代替手段として有効であることが示唆された。
関連論文リスト
- StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳（メタデータ） (2026-08-26T17:33:19Z) - MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs [0.0]
感情分析のためのマルチモーダル適応Few-Shot Prompting (MAF) フレームワークを提案する。
MAFはクエリ関連デモを検索して統合し、MLLMの感情推論能力を文脈に敏感な方法で引き出す。
公開ベンチマークデータセットの実験では、MAFが大幅に、一貫したパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2026-06-14T09:16:36Z) - Multi-Block Attention for Efficient Channel Estimation in IRS-Assisted mmWave MIMO [3.339065092252818]
本稿では,効率的なチャネル推定のための深層学習に基づくマルチブロック注意(MBA)フレームワークを提案する。
最小二乗推定のための位相構成として離散フーリエ変換(DFT)とアダマール行列の最適性を示す。
提案手法は,従来の手法よりも約51%低い正規化平均二乗誤差(NMSE)を実現する。
論文 参考訳（メタデータ） (2026-05-14T16:27:38Z) - VA-FastNavi-MARL: Real-Time Robot Control with Multimedia-Driven Meta-Reinforcement Learning [10.036984233538634]
VA-FastNavi-MARLは,非同期音声視覚入力を一貫した潜在表現に変換するフレームワークである。
提案手法は,予測のオーバーヘッドを無視して,未知のディレクティブへの迅速な適応を可能にする。
論文 参考訳（メタデータ） (2026-04-05T07:05:49Z) - Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval [79.04396446873932]
スパイキングニューラルネットワーク(SNN)は、最近、視覚的タスクとテキストタスクに強い可能性を示している。
画像テキスト検索(ITR)のようなマルチモーダルアプリケーションのための直接訓練され、低エネルギーで高性能なSNNを構築することは、依然として非常に困難である。
我々は脳にインスパイアされたクロスモーダルスパイク・フュージョン・ネットワーク(CMSF)を提案し、初めてITRに適用した。
論文 参考訳（メタデータ） (2026-03-25T08:41:07Z) - Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。
ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。
ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-03-18T13:23:58Z) - Stable and Efficient Single-Rollout RL for Multimodal Reasoning [66.53652874617217]
$textbfMSSR$ (Multimodal Stabilized Single-Rollout)はグループフリーのRLVRフレームワークで、安定した最適化と効果的なマルチモーダル推論性能を実現する。
分散評価では、MSSRはトレーニングの効率が良く、トレーニングの歩数の半分でグループベースベースラインに類似した検証精度を達成できる。
論文 参考訳（メタデータ） (2025-12-20T05:07:53Z) - A Novel Multimodal RUL Framework for Remaining Useful Life Estimation with Layer-wise Explanations [2.312232949770907]
転がり要素軸受は機械故障の最も頻発する原因の一つである。
転がり要素軸受は機械故障の最も頻発する原因の一つである。
既存のアプローチは、しばしば、一般化の貧弱、堅牢性の欠如、高いデータ要求、限定的な解釈可能性に悩まされる。
論文 参考訳（メタデータ） (2025-12-07T07:38:36Z) - Joint Learning using Mixture-of-Expert-Based Representation for Enhanced Speech Generation and Robust Emotion Recognition [54.44798086835314]
音声感情認識(SER)は感情認識音声システム構築において重要な役割を担っているが,その性能は雑音下で著しく低下する。
本稿では, フレームワイド・エキスパート・ルーティングを自己教師付き音声表現に応用した, フレキシブルMTLフレームワークSparse Mixture-of-Experts Representation Integration Technique (Sparse MERIT)を提案する。
MSP-Podcastコーパスの実験では、Sparse MERITはSERとSEの両方のタスクのベースラインモデルより一貫して優れていた。
論文 参考訳（メタデータ） (2025-09-10T10:18:56Z) - Resource-Efficient Beam Prediction in mmWave Communications with Multimodal Realistic Simulation Framework [57.994965436344195]
ビームフォーミングは、方向と強度を最適化して信号伝送を改善するミリ波通信において重要な技術である。
マルチモーダルセンシング支援ビーム予測は,ユーザ位置やネットワーク条件を予測するために,さまざまなセンサデータを使用して注目されている。
その有望な可能性にもかかわらず、マルチモーダルセンシング支援ビーム予測の採用は、高い計算複雑性、高いコスト、限られたデータセットによって妨げられている。
論文 参考訳（メタデータ） (2025-04-07T15:38:25Z) - Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。
圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。
その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
論文 参考訳（メタデータ） (2025-03-17T08:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。