Fugu-MT 論文翻訳(概要): Diffusion-Guided Semantic Consistency for Multimodal Heterogeneity

論文の概要: Diffusion-Guided Semantic Consistency for Multimodal Heterogeneity

arxiv url: http://arxiv.org/abs/2603.19337v1
Date: Thu, 19 Mar 2026 04:44:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 19:48:38.810404
Title: Diffusion-Guided Semantic Consistency for Multimodal Heterogeneity
Title（参考訳）: 多モード不均一性のための拡散誘導セマンティック一貫性
Authors: Jing Liu, Zhengliang Guo, Yan Wang, Xiaoguang Zhu, Yao Du, Zehua Wang, Victor C. M. Leung,
Abstract要約: フェデレートラーニングは、非独立かつ同一に分散された(非IID)クライアントデータによって深刻な課題を抱える。本稿では,事前学習した拡散モデルのリッチな意味表現を活用する新しいフレームワークSemanticFLを紹介する。以上の結果から,SemanticFLは既存のフェデレート学習手法を超越し,FedAvgの5.49%の精度向上を実現した。
参考スコア（独自算出の注目度）: 44.06048719126853
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is severely challenged by non-independent and identically distributed (non-IID) client data, a problem that degrades global model performance, especially in multimodal perception settings. Conventional methods often fail to address the underlying semantic discrepancies between clients, leading to suboptimal performance for multimedia systems requiring robust perception. To overcome this, we introduce SemanticFL, a novel framework that leverages the rich semantic representations of pre-trained diffusion models to provide privacy-preserving guidance for local training. Our approach leverages multi-layer semantic representations from a pre-trained Stable Diffusion model (including VAE-encoded latents and U-Net hierarchical features) to create a shared latent space that aligns heterogeneous clients, facilitated by an efficient client-server architecture that offloads heavy computation to the server. A unified consistency mechanism, employing cross-modal contrastive learning, further stabilizes convergence. We conduct extensive experiments on benchmarks including CIFAR-10, CIFAR-100, and TinyImageNet under diverse heterogeneity scenarios. Our results demonstrate that SemanticFL surpasses existing federated learning approaches, achieving accuracy gains of up to 5.49% over FedAvg, validating its effectiveness in learning robust representations for heterogeneous and multimodal data for perception tasks.
Abstract（参考訳）: フェデレートラーニング(FL)は、特にマルチモーダルな知覚設定において、グローバルモデルの性能を低下させる問題である非独立かつ同一の(非IID)クライアントデータによって、深刻な課題を抱えている。従来の手法では、クライアント間のセマンティックな相違に対処できないことが多く、堅牢な認識を必要とするマルチメディアシステムにおいて、最適なパフォーマンスをもたらす。そこで本研究では、事前学習した拡散モデルのリッチな意味表現を利用して、局所学習のためのプライバシー保護ガイダンスを提供するSemanticFLを紹介した。我々のアプローチは、事前訓練された安定拡散モデル(VAEエンコードされた潜水器やU-Net階層的特徴を含む)からの多層セマンティック表現を活用し、サーバに重い計算をオフロードする効率的なクライアントサーバアーキテクチャによって促進される異種クライアントを協調する共有潜水空間を作成する。クロスモーダルなコントラスト学習を用いた統一一貫性機構は、収束をさらに安定化させる。 CIFAR-10, CIFAR-100, TinyImageNet などのベンチマークを多種多様な異種性シナリオで広範な実験を行った。その結果,SemanticFLは既存のフェデレーション学習手法を超越し,FedAvgよりも5.49%の精度向上を実現し,不均一・マルチモーダルデータに対するロバストな表現学習の有効性を検証した。

関連論文リスト

FedAFD: Multimodal Federated Learning via Adversarial Fusion and Distillation [32.72372944951373]
MFL(Multimodal Federated Learning)は、異種データモダリティを持つクライアントが、生データを共有せずにモデルを協調的にトレーニングすることを可能にする。我々はクライアントとサーバの学習を強化する統合MFLフレームワークであるFedAFDを提案する。
論文参考訳（メタデータ） (2026-03-05T07:30:51Z)
Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文参考訳（メタデータ） (2026-02-01T05:54:59Z)
Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文参考訳（メタデータ） (2024-06-16T19:18:06Z)
Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
論文参考訳（メタデータ） (2024-06-13T14:45:35Z)
Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文参考訳（メタデータ） (2024-05-31T19:27:03Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout [16.250862114257277]
ニューラルネットワークにおける知識の順序付きネスト表現を実現するメカニズムであるOrdered Dropoutを紹介します。我々は,この手法と自己蒸留手法を,FjORDと呼ばれるフレームワークでフェデレートラーニングの領域に導入する。 FjORDは、ネストされた構造を維持しながら、最先端のベースラインよりもパフォーマンスが大幅に向上する。
論文参考訳（メタデータ） (2021-02-26T13:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。