論文の概要: Evidential Multimodal Transformers with Dempster-Shafer Fusion for Emotion Recognition
- arxiv url: http://arxiv.org/abs/2610.13013v1
- Date: Fri, 09 Oct 2026 05:16:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.400165
- Title: Evidential Multimodal Transformers with Dempster-Shafer Fusion for Emotion Recognition
- Title(参考訳): Dempster-Shafer Fusion を用いた感情認識用エビデンシャルマルチモーダルトランス
- Abstract要約: Dempster-Shafer Fusion (EMT-DS) を用いたEvidential Multimodal Transformerを提案する。
主観的オピニオンとしてのEMT-DSモデル(ディリクレ分布)
モダリティ固有のトランスフォーマーエンコーダは、デンプスターの組合せ規則と融合した信念の質量分布を生成する。
- 参考スコア(独自算出の注目度): 3.3246021992391874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Softmax-based multimodal emotion recognition methods often assign high confidence even when sensor data are corrupted or contradictory, for example when facial expressions suggest positive valence while vocal prosody indicates negative arousal. We present an Evidential Multimodal Transformer with Dempster-Shafer Fusion (EMT-DS) that addresses this problem through formal uncertainty quantification. EMT-DS models predictions as Subjective Opinions (Dirichlet distributions), separating epistemic uncertainty (lack of evidence) from aleatoric uncertainty (sensor noise). Modality-specific transformer encoders produce belief mass distributions that are fused with Dempster's Rule of Combination, which normalizes the joint belief mass by a conflict coefficient 1/(1-c), so that contradictory evidence is explicitly quantified as conflict and the fused prediction becomes diffuse rather than being forced into an unjustified consensus. Under subject-independent and speaker-independent evaluation on four benchmarks, EMT-DS achieves 84.3% accuracy on IEMOCAP versus 81.7% for the best baseline (p < 0.01), 82.4% on DEAP under leave-one-subject-out evaluation versus 78.1%, and 96.8% on the highly imbalanced KEMDy20, and it improves accuracy on CMU-MOSEI by 2.4 points over the strongest evidential baseline. In controlled ablation, it reduces Expected Calibration Error from 0.153 (softmax transformer) to 0.042. It maintains 71.2% accuracy under severe Gaussian noise on audio features (sigma = 1.0), where attention baselines drop to 45.3%, and degrades gracefully when entire modalities are absent. The fusion step has O(MK^2) complexity, compared with O(M^2 d^2) for cross-modal attention. The learned conflict metric also flags likely errors: reviewing 20% of samples captures 80% of misclassifications, which supports selective prediction in clinical and safety-critical systems.
- Abstract(参考訳): ソフトマックスに基づくマルチモーダル感情認識法は、例えば、音声の韻律が負の覚醒を示すのに対して、表情が正の原子価を示す場合など、センサーデータが破損したり矛盾している場合でも、高い信頼度を割り当てることが多い。
本稿では,Dempster-Shafer Fusion (EMT-DS) を用いたEvidential Multimodal Transformerを提案する。
EMT-DSは主観的オピニオン(ディリクレ分布)として予測をモデル化し、てんかんの不確実性(証拠の欠如)とアレタリック不確実性(センサノイズ)を分離する。
モダリティ特化トランスフォーマーエンコーダは、コンフリクト係数1/(1-c)で合同信念質量を正規化するデンプスターの結合規則と融合した信念質量分布を生成し、矛盾する証拠はコンフリクトとして明示的に定量化され、融合予測は不当なコンセンサスに強制されるのではなく拡散する。
EMT-DSは、4つのベンチマークで主観的、話者に依存しない評価で、IEMOCAPでは84.3%の精度、最高のベースラインでは81.7%の精度(p < 0.01), 82.4%のDAPでは78.1%, 高不均衡なKEMDy20では96.8%, そしてCMU-MOSEIでは2.4ポイントの精度向上を実現している。
制御アブレーションでは、期待校正誤差を0.153(ソフトマックス変換器)から0.042に低減する。
重度ガウス雑音下では71.2%の精度を維持し(シグマ=1.0)、注意ベースラインは45.3%に低下し、すべてのモダリティが欠落すると優雅に劣化する。
融合段階はO(MK^2) の複雑さを持ち、O(M^2 d^2) はクロスモーダルな注意である。
20%のサンプルが80%の誤分類を捉えており、臨床および安全クリティカルなシステムの選択的予測をサポートする。
関連論文リスト
- Efficient Patch-Based Anomaly Detection Fused with Diffusion Driven Generative Modeling for Semiconductor Wafer Bin Map Open Set Anomaly Detection [0.0]
本研究は、パッチベースの学生教師検出装置(EfficientAD)と部分拡散再構成に用いる拡散確率モデル(DDPM)を結合したハイブリッド一級フレームワークを提案する。
WM-38K混合型データセットから700個の正常なウエハをトレーニングし、18,658個の保持型ウエハで評価し、融合検出器はAUROCの0.9985に達し、誤分類は852個(DDPM)と1,412個(EfficientAD)から618個(EfficientAD)に減少した。
論文 参考訳(メタデータ) (2026-10-07T12:52:58Z) - Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。
構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。
RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
論文 参考訳(メタデータ) (2026-08-03T11:07:37Z) - Multimodal Emotion Recognition via Causal-Diffusion Bridge (Affect-Diff) [0.0]
ハッピーは65.9%であり、3つのエクマンカテゴリーは7%以下である。
Affect-Diff, a Causal-Diffusion Bridge that address this through three jointly trained mechanism。
3,292個のCMU-MOSEIサンプルにおいて,Affect-Diffは最強基線に対する18%の相対的改善である精度0.384の検証を達成した。
論文 参考訳(メタデータ) (2026-05-07T18:29:26Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳(メタデータ) (2026-04-17T13:27:11Z) - Predictive Entropy Links Calibration and Paraphrase Sensitivity in Medical Vision-Language Models [2.064612766965483]
我々は,MedGemma 4BITの分布MIMIC CXRと外分布PadChest chest X ray データセットの5つの不確実性定量化手法を示し,LLaVA RAD7Bのクロスアーキテクチャ検証を行った。
うまく校正された単一モデル法では、一方のフォワードパスからの予測エントロピーは、メドジェマのAUROC 0.711、LLaVARAD p 10 4の0.878、信頼できないと敏感な予測の両方を1つのエントロピーしきい値でフラグ付けることができる。
論文 参考訳(メタデータ) (2026-04-10T04:18:47Z) - TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。
このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。
本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
論文 参考訳(メタデータ) (2026-03-09T09:07:43Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳(メタデータ) (2026-03-02T13:02:13Z) - From Calibration to Refinement: Seeking Certainty via Probabilistic Evidence Propagation for Noisy-Label Person Re-Identification [40.73759251488672]
既存のノイズロスのある人物Re-ID法は、ソフトマックス出力を用いた損失補正やサンプル選択方式に依存している。
本稿では,キャリブレーションからリファインメントへ伝播する確率的証拠を通じて確実性を求める2段階フレームワークであるCARE法を提案する。
精製段階では, クリーン試料とノイズ試料をより正確に識別できるエビデンス伝搬精製法(EPR)を設計する。
論文 参考訳(メタデータ) (2026-02-26T15:50:15Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳(メタデータ) (2025-09-24T13:06:35Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z) - Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化
MTEは精度と不確実性の両方を同時に向上させることができる。
例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
論文 参考訳(メタデータ) (2024-05-30T03:15:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。