論文の概要: FedDifRC: Unlocking the Potential of Text-to-Image Diffusion Models in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2507.06482v1
• Date: Wed, 09 Jul 2025 01:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.434262
• Title: FedDifRC: Unlocking the Potential of Text-to-Image Diffusion Models in Heterogeneous Federated Learning
• Title（参考訳）: FedDifRC:不均一なフェデレーション学習におけるテキスト・画像拡散モデルの可能性を解き放つ
• Authors: Huan Wang, Haoran Li, Huaming Chen, Jun Yan, Jiahua Shi, Jun Shen,
• Abstract要約: フェデレーション学習は、プライバシを保護しながら、参加者間で協調的にモデルをトレーニングすることを目的としている。 このパラダイムの大きな課題のひとつは、複数のクライアント間で偏ったデータ優先がモデルの一貫性とパフォーマンスを損なう、データ不均一性の問題である。 本稿では,拡散表現協調(FedDifRC)を用いた新しいフェデレーションパラダイムに強力な拡散モデルを導入する。 FedDifRCは、テキスト駆動拡散コントラストとノイズ駆動拡散正規化であり、豊富なクラス関連セマンティック情報と一貫した収束信号を提供することを目的としている。
• 参考スコア（独自算出の注目度）: 12.366529890744822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning aims at training models collaboratively across participants while protecting privacy. However, one major challenge for this paradigm is the data heterogeneity issue, where biased data preferences across multiple clients, harming the model's convergence and performance. In this paper, we first introduce powerful diffusion models into the federated learning paradigm and show that diffusion representations are effective steers during federated training. To explore the possibility of using diffusion representations in handling data heterogeneity, we propose a novel diffusion-inspired Federated paradigm with Diffusion Representation Collaboration, termed FedDifRC, leveraging meaningful guidance of diffusion models to mitigate data heterogeneity. The key idea is to construct text-driven diffusion contrasting and noise-driven diffusion regularization, aiming to provide abundant class-related semantic information and consistent convergence signals. On the one hand, we exploit the conditional feedback from the diffusion model for different text prompts to build a text-driven contrastive learning strategy. On the other hand, we introduce a noise-driven consistency regularization to align local instances with diffusion denoising representations, constraining the optimization region in the feature space. In addition, FedDifRC can be extended to a self-supervised scheme without relying on any labeled data. We also provide a theoretical analysis for FedDifRC to ensure convergence under non-convex objectives. The experiments on different scenarios validate the effectiveness of FedDifRC and the efficiency of crucial components.
• Abstract（参考訳）: フェデレーション学習は、プライバシを保護しながら、参加者間で協調的にモデルをトレーニングすることを目的としている。 しかし、このパラダイムの大きな課題の1つは、複数のクライアント間で偏ったデータ優先がモデルの収束とパフォーマンスを損なう、データ不均一性の問題である。 本稿では,フェデレート学習パラダイムに強力な拡散モデルを導入し,フェデレーション学習において,拡散表現が効果的なステアであることを示す。 拡散表現を用いたデータ不均一性処理の可能性を探るため,拡散表現を用いた新しい拡散刺激型フェデレーションパラダイム(FedDifRC)を提案する。 鍵となる考え方は、テキスト駆動拡散コントラストとノイズ駆動拡散正規化を構築し、豊富なクラス関連セマンティック情報と一貫した収束信号を提供することである。 一方、異なるテキストプロンプトに対して拡散モデルからの条件付きフィードバックを利用して、テキスト駆動のコントラスト学習戦略を構築する。 一方、雑音駆動整合性正規化を導入し、局所インスタンスを拡散デノゲーション表現と整合させ、特徴空間の最適化領域を制約する。 さらに、FedDifRCはラベル付きデータに頼ることなく、自己教師型のスキームに拡張することができる。 また、FedDifRCの非凸目的下での収束を保証するための理論的解析も提供する。 異なるシナリオにおける実験は、FedDifRCの有効性と重要なコンポーネントの有効性を検証する。

関連論文リスト

• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning [41.4210010333948]
  本稿では,分散モデルトレーニングのためのリングトポロジ分散フェデレート学習(RDFL)について紹介する。 RDFLは、固有のデータ不均一性を扱う場合、ポイントツーポイント通信方式により、情報の共有効率が低いという課題に直面している。 本稿では、特徴生成モデルを用いて、基礎となるデータ分布からパーソナライズされた情報と不変な共有知識を抽出するDivide-and-conquer RDFLフレームワーク(DRDFL)を提案する。
  論文  参考訳（メタデータ） (2025-04-27T04:38:49Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• An Effective Deployment of Diffusion LM for Data Augmentation in Low-Resource Sentiment Classification [2.0930389307057427]
  感性分類(SC)は、ドメイン固有のコンテキスト、不均衡なラベル分布、少数ショットシナリオなど、低リソースの課題に悩まされることが多い。 我々はDiffusion LMを提案し、強力なラベル関連トークンを再構成することでドメイン内の知識を捕捉し、擬似サンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-05T02:51:28Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。