論文の概要: FedRecon: Missing Modality Reconstruction in Distributed Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2504.09941v1
• Date: Mon, 14 Apr 2025 07:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:24.008747
• Title: FedRecon: Missing Modality Reconstruction in Distributed Heterogeneous Environments
• Title（参考訳）: FedRecon: 分散異種環境におけるモダリティ再構築の欠如
• Authors: Junming Liu, Guosun Zeng, Ding Wang, Yanting Gao, Yufei Jin,
• Abstract要約: FedReconは,マルチモーダル学習におけるモダリティ再構築と非IID適応を同時に行うことを目的とした,最初の手法である。 提案手法は,まず軽量なマルチモーダル変分オートエンコーダ(MVAE)を用いて,欠落したモダリティを再構成する。 非IID変動を緩和する大惨な忘れ込みを防止するために,グローバルジェネレータの凍結を利用した戦略を導入する。
• 参考スコア（独自算出の注目度）: 7.646878242748392
• License:
• Abstract: Multimodal data are often incomplete and exhibit Non-Independent and Identically Distributed (Non-IID) characteristics in real-world scenarios. These inherent limitations lead to both modality heterogeneity through partial modality absence and data heterogeneity from distribution divergence, creating fundamental challenges for effective federated learning (FL). To address these coupled challenges, we propose FedRecon, the first method targeting simultaneous missing modality reconstruction and Non-IID adaptation in multimodal FL. Our approach first employs a lightweight Multimodal Variational Autoencoder (MVAE) to reconstruct missing modalities while preserving cross-modal consistency. Distinct from conventional imputation methods, we achieve sample-level alignment through a novel distribution mapping mechanism that guarantees both data consistency and completeness. Additionally, we introduce a strategy employing global generator freezing to prevent catastrophic forgetting, which in turn mitigates Non-IID fluctuations. Extensive evaluations on multimodal datasets demonstrate FedRecon's superior performance in modality reconstruction under Non-IID conditions, surpassing state-of-the-art methods.
• Abstract（参考訳）: マルチモーダルデータは、しばしば不完全であり、現実世界のシナリオにおいて、非独立かつ独立に分散した(非IID)特性を示す。 これらの固有な制限は、部分的モダリティの欠如によるモダリティの不均一性と、分布の発散によるデータ不均一性を両立させ、効果的な連合学習(FL)の基本的な課題を生み出した。 これらの課題に対処するため,マルチモーダルFLにおけるモダリティ再構築と非IID適応を同時に行う最初の手法であるFedReconを提案する。 提案手法では,まず軽量なマルチモーダル変分オートエンコーダ(MVAE)を用いて,モーダル間の整合性を保ちながら欠落したモーダルを再構成する。 従来の計算手法と異なり,データ一貫性と完全性の両方を保証する新しい分布マッピング機構により,サンプルレベルのアライメントを実現する。 さらに,大域的発生源の凍結を利用して破滅的忘れを防止し,非IID変動を緩和する戦略を導入する。 マルチモーダルデータセットに対する広範囲な評価は、FedReconの非IID条件下でのモダリティ再構成における優れた性能を示し、最先端の手法を超越している。

関連論文リスト

• FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization [11.954904313477176]
  Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。 本研究ではFedMACという新しいフレームワークを提案し,FLに欠落した部分モダリティ条件下でのマルチモダリティの解消を図った。
  論文  参考訳（メタデータ） (2024-10-04T01:24:02Z)
• Progressively Modality Freezing for Multi-Modal Entity Alignment [27.77877721548588]
  本稿では,アライメント関連特徴に焦点をあてた,PMFと呼ばれる進行モード凍結の新たな戦略を提案する。 特に,本手法では,モーダル整合性を高めるために,クロスモーダルなアソシエーション損失を先駆的に導入する。 9つのデータセットの実証的な評価により、PMFの優位性が確認された。
  論文  参考訳（メタデータ） (2024-07-23T04:22:30Z)
• Balanced Multi-modal Federated Learning via Cross-Modal Infiltration [19.513099949266156]
  フェデレートラーニング(FL)は、プライバシを保存する分散コンピューティングの進歩を支えている。 本稿では,新しいクロスモーダル・インフィルティング・フェデレート・ラーニング(FedCMI)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-31T05:50:15Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• Heterogeneous Target Speech Separation [52.05046029743995]
  我々は,非相互排他的概念を用いて興味のあるソースを区別できる単一チャネルターゲットソース分離のための新しいパラダイムを提案する。 提案する異種分離フレームワークは,分散シフトが大きいデータセットをシームレスに利用することができる。
  論文  参考訳（メタデータ） (2022-04-07T17:14:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。