論文の概要: MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2512.07430v1
- Date: Mon, 08 Dec 2025 11:04:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.852202
- Title: MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis
- Title（参考訳）: MIDG:マルチモーダル感性分析における知識注入と知識注入の混合
- Authors: Yangle Li, Danli Luo, Haifeng Hu,
- Abstract要約: マルチモーダル・センティメント・アナリティクス(MSA)のための領域一般化のための新しいフレームワークを提案する。
このフレームワークには、ドメイン不変の機能を抽出するMixture of Invariant Expertsモデルが含まれている。
第2に、クロスモーダルな知識注入によるマルチモーダル表現のセマンティックリッチネスを高めるためのクロスモーダル適応器を設計する。
- 参考スコア（独自算出の注目度）: 11.688062963416117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods in domain generalization for Multimodal Sentiment Analysis (MSA) often overlook inter-modal synergies during invariant features extraction, which prevents the accurate capture of the rich semantic information within multimodal data. Additionally, while knowledge injection techniques have been explored in MSA, they often suffer from fragmented cross-modal knowledge, overlooking specific representations that exist beyond the confines of unimodal. To address these limitations, we propose a novel MSA framework designed for domain generalization. Firstly, the framework incorporates a Mixture of Invariant Experts model to extract domain-invariant features, thereby enhancing the model's capacity to learn synergistic relationships between modalities. Secondly, we design a Cross-Modal Adapter to augment the semantic richness of multimodal representations through cross-modal knowledge injection. Extensive domain experiments conducted on three datasets demonstrate that the proposed MIDG achieves superior performance.
- Abstract（参考訳）: マルチモーダル知覚分析(MSA)の領域一般化における既存の手法は、不変特徴抽出におけるモーダル間シナジーを見落とし、多モーダルデータ内のリッチな意味情報の正確な取得を防止する。
さらに、知識注入技術はMSAで研究されているが、しばしば断片化されたクロスモーダルな知識に悩まされ、ユニモダルの限界を超えて存在する特定の表現を見渡す。
これらの制約に対処するため,ドメインの一般化を目的とした新しいMSAフレームワークを提案する。
まず、このフレームワークは、ドメイン不変な特徴を抽出するために、混合不変エキスパートモデルを導入し、モダリティ間のシナジスティックな関係を学習するためのモデルの能力を高めます。
第2に、クロスモーダルな知識注入によるマルチモーダル表現のセマンティックリッチネスを高めるためのクロスモーダル適応器を設計する。
3つのデータセットで大規模なドメイン実験を行い、提案したMIDGが優れた性能を発揮することを示した。
関連論文リスト
- Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
本稿では,モダリティ・ジェネリゼーション(MG)について述べる。
マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。
私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
論文 参考訳（メタデータ） (2024-12-24T08:38:35Z) - Multisource Collaborative Domain Generalization for Cross-Scene Remote Sensing Image Classification [57.945437355714155]
クロスシーン画像分類は, 異なる分布領域のアノテート領域に, 地中物質の事前の知識を伝達することを目的としている。
既存のアプローチでは、未確認のターゲットドメインへの単一ソースドメインの一般化に重点を置いている。
マルチソースリモートセンシングデータの均一性と不均一性特性に基づく,新しいマルチソース協調型ドメイン一般化フレームワーク(MS-CDG)を提案する。
論文 参考訳（メタデータ） (2024-12-05T06:15:08Z) - IBMEA: Exploring Variational Information Bottleneck for Multi-modal Entity Alignment [17.570243718626994]
マルチモーダル・エンティティ・アライメント(MMEA)は、マルチモーダル・ナレッジ・グラフ(MMKG)間で等価なエンティティを識別することを目的としている。
確率分布としてモーダル固有の実体表現を生成するために,多モード変分エンコーダを考案する。
また、4つのモーダル固有情報ボトルネック正規化器を提案し、モーダル固有実体表現の精製における誤解を招く手がかりを限定する。
論文 参考訳（メタデータ） (2024-07-27T17:12:37Z) - Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。
本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。
我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
論文 参考訳（メタデータ） (2024-04-25T09:35:09Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。