論文の概要: MMDG-Bench: A Benchmark for Multimodal Domain Generalization

• arxiv url: http://arxiv.org/abs/2606.00891v1
• Date: Sat, 30 May 2026 20:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 00:57:58.928754
• Title: MMDG-Bench: A Benchmark for Multimodal Domain Generalization
• Title（参考訳）: MMDG-Bench:マルチモーダルドメイン一般化のためのベンチマーク
• Authors: Qianshan Zhan, Qian Wang, Da Li, Xiao-Jun Zeng, Xiatian Zhu,
• Abstract要約: マルチモーダルドメイン一般化は、相補的なモダリティを活用して、目に見えない領域におけるモデルロバスト性を高めることを目指している。 現在のMDDGの研究は、主に行動認識に限られており、標準化された評価プロトコルが欠如している。 DG, MML (D2M) と MML, DG (M2D) の2つの基礎的フレームワークを備えた総合ベンチマークであるMDDG-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 53.423523300548766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal Domain Generalization (MMDG) seeks to leverage complementary modalities to enhance model robustness on unseen domains. Despite extensive progress in Multi-modal Learning (MML) and Domain Generalization (DG) as individual fields, their systematic integration remains under-explored. Current MMDG research is largely confined to action recognition and lacks standardized evaluation protocols. To address this, we introduce MMDG-Bench, a comprehensive benchmark featuring two foundational frameworks: DG then MML (D2M) and MML then DG (M2D). We provide unified experimental protocols across diverse tasks, including video-audio-flow action recognition and RGB-Depth-IR face anti-spoofing. By instantiating ten MMDG baselines through pairing a unified MML configuration with five DG techniques under both D2M and M2D orderings, we demonstrate that these structured combinations frequently outperform existing state-of-the-art methods, underscoring the necessity of a unified benchmarking effort. Our analysis yields three key insights: (1) Integrating DG techniques provides consistent generalization gains across various backbones, whereas non-DG methods are highly sensitive to backbone shifts; (2) The optimal framework choice depends on inter-modal stability: D2M excels when modal relations are stable across domains, while M2D is more robust to cross-domain relational variance; (3) Stronger backbones yield amplified performance dividends when integrated into our structured frameworks. MMDG-Bench provides a principled foundation and actionable design guidelines for future research in multi-modal robustness. Code is released at https://github.com/qszhan/MMDG-Bench.
• Abstract（参考訳）: MMDG(Multi-modal Domain Generalization)は、相補的なモダリティを活用して、目に見えない領域におけるモデルロバスト性を高める。 MML(Multi-modal Learning)とドメイン一般化(Domain Generalization, DG)が個別の分野として大きく進歩しているにもかかわらず、それらの体系的な統合はいまだに探索されていない。 現在のMDDGの研究は、主に行動認識に限られており、標準化された評価プロトコルが欠如している。 そこで本研究では,DG,MML (D2M) ,MML,DG (M2D) の2つの基本フレームワークを備えた総合ベンチマークであるMDDG-Benchを紹介する。 我々は,映像音声フロー動作認識やRGB-Depth-IR顔アンチスプーフィングなど,多様なタスクにまたがる統一的な実験プロトコルを提供する。 D2MとM2Dの両方で5つのDG技術と統合MML構成を組み合わせて10のMDDGベースラインをインスタンス化することにより、これらの構造的組み合わせが既存の最先端手法を頻繁に上回り、統一ベンチマークの必要性を浮き彫りにすることを示した。 D2Mはドメイン間の関係が安定である場合、M2Dはドメイン間関係の分散に対してより堅牢であるのに対して、M2Dはドメイン間関係の分散に対してより堅牢であるのに対し、M2Dは構造的フレームワークに統合された場合、増幅されたパフォーマンス配位を与える。 MMDG-Benchは、マルチモーダルロバストネスにおける将来の研究のための原則化された基礎と実行可能な設計ガイドラインを提供する。 コードはhttps://github.com/qszhan/MMDG-Bench.comで公開されている。

関連論文リスト

• Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study [36.264692761556596]
  MMDG-Benchは、Multimodal Domain Generalizationの最初の統一的で包括的なベンチマークである。 MMDG-Benchは、3つの多様なタスクにまたがる6つのデータセットの評価を標準化する。 汚職の堅牢性、欠落モダリティの一般化、誤分類検出、アウト・オブ・ディストリビューション検出を評価する。
  論文  参考訳（メタデータ） (2026-05-07T17:51:16Z)
• MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization [6.929741688224915]
  ドメイン一般化のためのモダリティ-エントロピー正規化(MER-DG)を提案する。 MER-DGは、各エンコーダの特徴分布のエントロピーを最大化し、特徴の多様性を維持する。 EPIC-KitchensとHACベンチマークの実験では、標準核融合よりも平均で約5%改善されている。
  論文  参考訳（メタデータ） (2026-05-03T16:53:26Z)
• Bridging Domain Generalization to Multimodal Domain Generalization via Unified Representations [43.07575348801021]
  ドメイン一般化(DG)は、ソースドメインのみをトレーニングすることで、目に見えない、あるいは分散的にシフトしたターゲットドメインにおけるモデルの堅牢性を高めることを目的としている。 マルチモーダル・ドメイン・ジェネリゼーション(MMDG)における重要な課題は、マルチモーダル・ソースで訓練されたモデルが、同じモダリティ・セット内の未確認対象の分布に一般化できるようにすることである。 我々は、統一表現を利用して異なるペアのモダリティをマッピングする新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-04T05:17:32Z)
• Progressive Modality Cooperation for Multi-Modality Domain Adaptation [70.26879294371052]
  我々は,PMC(Progressive Modality Cooperation)と呼ばれる汎用多モードドメイン適応フレームワークを提案する。 MMDA設定の下では、両方のドメインのサンプルはすべてのモダリティを持つ。 MMDA-PI設定では、ターゲットドメインにいくつかのモダリティが欠落している。
  論文  参考訳（メタデータ） (2025-06-24T05:13:56Z)
• Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
  マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。 顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。 Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-24T08:46:52Z)
• SimMMDG: A Simple and Effective Framework for Multi-modal Domain Generalization [13.456240733175767]
  SimMMDGは、マルチモーダルシナリオにおけるドメインの一般化を実現する上での課題を克服するためのフレームワークである。 我々は,共同性を確保し,距離制約を課すために,モダリティ共有特徴に対する教師付きコントラスト学習を採用する。 本研究では,EPIC-KitchensデータセットとHuman-Animal-CartoonデータセットのマルチモーダルDGにおいて,理論的に支持され,高い性能を実現している。
  論文  参考訳（メタデータ） (2023-10-30T17:58:09Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。