論文の概要: Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities

• arxiv url: http://arxiv.org/abs/2511.00344v1
• Date: Sat, 01 Nov 2025 01:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.730496
• Title: Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities
• Title（参考訳）: 不完全なモード下での感情認識のためのフェデレーションダイアログ・セマンティック拡散
• Authors: Xihang Qiu, Jiarong Cheng, Yuhao Fang, Wanpeng Zhang, Yao Lu, Ye Zhang, Chun Li,
• Abstract要約: モダリティ回復のためのFedDISC(Federated Dialogue-guided and Semantic-Consistent Diffusion)フレームワークを提案する。 FedDISCは、クライアントで訓練されたモダリティ固有の拡散モデルの連合集約によって、モダリティ完全性への単一サイクル依存を克服する。 IEMOCAP、CMUMOSI、CMUMOSEIデータセットの実験は、FedDISCが様々な欠落したモダリティパターンに対して優れた感情分類性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 13.098852116759929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Emotion Recognition in Conversations (MERC) enhances emotional understanding through the fusion of multimodal signals. However, unpredictable modality absence in real-world scenarios significantly degrades the performance of existing methods. Conventional missing-modality recovery approaches, which depend on training with complete multimodal data, often suffer from semantic distortion under extreme data distributions, such as fixed-modality absence. To address this, we propose the Federated Dialogue-guided and Semantic-Consistent Diffusion (FedDISC) framework, pioneering the integration of federated learning into missing-modality recovery. By federated aggregation of modality-specific diffusion models trained on clients and broadcasting them to clients missing corresponding modalities, FedDISC overcomes single-client reliance on modality completeness. Additionally, the DISC-Diffusion module ensures consistency in context, speaker identity, and semantics between recovered and available modalities, using a Dialogue Graph Network to capture conversational dependencies and a Semantic Conditioning Network to enforce semantic alignment. We further introduce a novel Alternating Frozen Aggregation strategy, which cyclically freezes recovery and classifier modules to facilitate collaborative optimization. Extensive experiments on the IEMOCAP, CMUMOSI, and CMUMOSEI datasets demonstrate that FedDISC achieves superior emotion classification performance across diverse missing modality patterns, outperforming existing approaches.
• Abstract（参考訳）: 会話におけるマルチモーダル感情認識(MERC)は、マルチモーダル信号の融合を通じて感情的理解を高める。 しかし、現実シナリオにおける予測不可能なモダリティの欠如は、既存の手法の性能を著しく低下させる。 完全なマルチモーダルデータによるトレーニングに依存する従来型のモダリティ回復アプローチは、固定モダリティの欠如など、極端なデータ分布下での意味歪みに悩まされることが多い。 そこで本稿では,FedDISC(Federated Dialogue-guided and Semantic-Consistent Diffusion)フレームワークを提案する。 クライアント上で訓練されたモダリティ固有拡散モデルの連合集約と、それに対応するモダリティを欠いたクライアントへのブロードキャストにより、FedDISCはモダリティ完全性への単一サイクル依存を克服する。 さらに、DIC-Diffusionモジュールは、会話の依存関係をキャプチャするダイアロググラフネットワークとセマンティックコンディショニングネットワークを使用して、回復したモダリティと利用可能なモダリティ間のコンテキスト、話者識別、セマンティクスの一貫性を保証する。 さらに、リカバリと分類器モジュールを周期的に凍結し、協調最適化を容易にする新しい代替冷凍集約戦略を導入する。 IEMOCAP、CMUMOSI、CMUMOSEIデータセットの大規模な実験は、FedDISCが様々な欠落したモダリティパターンに対して優れた感情分類性能を達成し、既存のアプローチよりも優れていることを示した。

関連論文リスト

• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• ADMC: Attention-based Diffusion Model for Missing Modalities Feature Completion [25.1725138364452]
  注意に基づく障害特徴補完(ADMC)のための拡散モデルを提案する。 本フレームワークは,各モダリティに対する特徴抽出ネットワークを独立に訓練し,その特性を保ち,オーバーカップリングを回避する。 提案手法は,IEMOCAPおよびMIntRecベンチマークの最先端結果を実現し,欠落シナリオと完全モダリティシナリオの両方において,その有効性を示す。
  論文  参考訳（メタデータ） (2025-07-08T03:08:52Z)
• Latent Diffusion Model Based Denoising Receiver for 6G Semantic Communication: From Stochastic Differential Theory to Application [11.385703484113552]
  生成人工知能(GAI)を利用した新しい意味コミュニケーションフレームワークを提案する。 意味的特徴抽出のための変分オートエンコーダを組み合わせた潜在拡散モデル(LDM)に基づくセマンティックコミュニケーションフレームワークを提案する。 提案システムはゼロショットの一般化をサポートし,低SNRおよびアウト・オブ・ディストリビューション条件下での優れた性能を実現する訓練自由フレームワークである。
  論文  参考訳（メタデータ） (2025-06-06T03:20:32Z)
• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Robust Latent Representations via Cross-Modal Translation and Alignment [36.67937514793215]
  ほとんどのマルチモーダル機械学習手法では、トレーニングに使用されるすべてのモダリティをテストに利用する必要がある。 この制限に対処するため、トレーニング中のみに複数のモーダルを用いてユニモーダルシステムのテスト性能を向上させることを目的としている。 提案するマルチモーダルトレーニングフレームワークは、クロスモーダル変換と相関に基づく潜在空間アライメントを用いる。
  論文  参考訳（メタデータ） (2020-11-03T11:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。