論文の概要: MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition

• arxiv url: http://arxiv.org/abs/2610.29430v1
• Date: Wed, 21 Oct 2026 08:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.296116
• Title: MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition
• Title（参考訳）: MERP:ロバストなマルチモーダルマルチラベル感情認識のための遅延ブートネックフレームワーク
• Abstract要約: マルチモーダルなマルチラベル感情認識は、感情認識システムにおいて重要である。 完全なテキスト、視覚的、音響的なストリームで訓練されたモデルは、デプロイ時にストリームが利用できない場合、しばしば急激に低下する。 本稿では,関節列を固定サイズの潜伏バンクにマッピングするマルチモーダル感情認識知覚器(MERP)を提案する。
• 参考スコア（独自算出の注目度）: 39.29630307985836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal multi-label emotion recognition is important for affect-aware systems, but models trained with complete text, visual, and acoustic streams often degrade sharply when some streams are unavailable at deployment. We address this train-test gap by learning a compact representation that preserves emotion-specific evidence from any available subset of modalities. We propose the Multi-modal Emotion Recognition Perceiver (MERP), which maps the joint sequence into a fixed-size latent bank, thereby keeping repeated reasoning independent of raw input length; it extracts label-specific evidence before and after latent reasoning and aligns the two levels through reconstruction. MERP further uses positive and negative class prototypes, a noise-gated feature enhancer with frequency-shaped perturbations during training, and confidence-aware class-wise fusion to strengthen separability, reduce sensitivity to missing inputs, and combine complementary predictors. Under 20 percent test-time random modality drop, MERP achieves micro-F1 scores of 0.563 on CMU-MOSEI and 0.780 on M3ED, exceeding the strongest evaluated baselines by 0.004 and 0.005, respectively; in the severe CMU-MOSEI audio-only setting, it retains 0.473 micro-F1 versus 0.022 for LDDU. These results show that fixed latent reasoning provides a practical, testable route to robust multimodal emotion recognition without requiring missing-modality examples during training. Code is available at https://github.com/Creative-zcx/MERP.
• Abstract（参考訳）: マルチモーダルなマルチラベル感情認識は、感情認識システムにおいて重要であるが、完全なテキスト、視覚、音響ストリームで訓練されたモデルは、一部のストリームがデプロイ時に利用できない場合、急激に劣化することが多い。 本研究は,モダリティの任意の部分集合から感情特異的な証拠を保存するコンパクトな表現を学習することで,このトレインテストギャップに対処する。 本稿では,複数モード感情認識知覚器(MERP)を提案する。これは関節列を固定サイズの潜伏バンクにマッピングし,生入力長に依存しない繰り返し推論を保ち,潜伏推論の前後にラベル固有の証拠を抽出し,再構成によって2つのレベルを整列させる。 MERPはさらに、正および負のクラスプロトタイプ、トレーニング中の周波数形状の摂動を持つノイズゲート機能拡張器、分離性を強化し、欠落した入力に対する感度を低減し、相補的な予測器を組み合わせるために、自信に敏感なクラスワイドフュージョンを使用する。 20%の試験時間ランダムなモダリティ低下の下で、MERPはCMU-MOSEIで0.563、M3EDで0.780のマイクロF1スコアを達成し、それぞれ0.004と0.005で評価されたベースラインを超え、重度なCMU-MOSEIオーディオのみの設定では、LDDUで0.022に対して0.473マイクロF1を保持する。 これらの結果から, 固定潜時推論は, 訓練中にモダリティの欠如を伴わずに, 堅牢なマルチモーダル感情認識への実践的, 実証可能な経路を提供することが示された。 コードはhttps://github.com/Creative-zcx/MERPで入手できる。

関連論文リスト

• MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment [4.682152272555128]
  本稿では,顔画像と脳波(EEG)を処理する統合認識フレームワークMUPAtextsuperscript2Eについて述べる。 顔映像は軸折りフレームトークンで表現され、EEGは生のマルチチャネル波形として処理されるか、空間領域に投影される。 試用期間が短くなると30ドル(約3万3000円)で融合し、検証性能が最高、テスト精度が70.07%(約7万7000円)になる。
  論文  参考訳（メタデータ） (2026-08-17T01:26:47Z)
• Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition [0.9297355862757838]
  PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。 知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。 525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
  論文  参考訳（メタデータ） (2026-07-28T16:44:38Z)
• Design and Validation of a Lightweight 1D CNN for Affective Touch Classification in Soft Plush Companions [59.49967357689445]
  ソフトなセンサー付きコンパニオンは、社会的支援技術のための物理的に安全で感情的に直感的なインターフェースを提供する。 本研究では,ソフト・インタラクティブ・コンパニオンにおける感情的触覚認識のためのディープラーニングモデルの開発と検証を目的とした,オープンソースで拡張されたリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-16T10:20:05Z)
• Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation [0.0]
  多重化前立腺MRIは、T2パラメトリック(T2W)、見かけ拡散係数(ADC)、高b値拡散強調(HBV)配列を組み合わせる。 実際には、拡散配列は、T2Wよりも、取得のばらつき、動き、アーティファクトの影響を受けることが多い。 我々は、学習ゲーティングステージの前に、個別のモダリティ固有の符号化ストリームを維持するために、Modality-Isolated Gated Fusion (MIGF)を提案する。
  論文  参考訳（メタデータ） (2026-04-12T15:54:21Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• PRISM: Performer RS-IMLE for Single-pass Multisensory Imitation Learning [51.24484551729328]
  PRISMは,IMLEのバッチ・グロバル・リジェクション・サンプリングに基づく単一パスポリシーである。 PRISMは、Performerアーキテクチャを用いた線形アテンション発生器と時間的マルチセンサエンコーダを結合する。 7-DoFアームD1を搭載したUnitree Go2を用いたロコマニピュレーションやUR5マニピュレータを用いたテーブルトップ操作など,PRISMの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-02T17:57:37Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
  マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。 従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。 提案するMEMOBERTは感情認識性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-27T09:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。