論文の概要: Adaptive Prototype Knowledge Transfer for Federated Learning with Mixed Modalities and Heterogeneous Tasks

• arxiv url: http://arxiv.org/abs/2502.04400v1
• Date: Thu, 06 Feb 2025 07:28:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:32.866867
• Title: Adaptive Prototype Knowledge Transfer for Federated Learning with Mixed Modalities and Heterogeneous Tasks
• Title（参考訳）: 混合モーダリティと不均一タスクを用いたフェデレーション学習のための適応的プロトタイプ知識伝達
• Authors: Keke Gai, Mohan Wang, Jing Yu, Dongjue Wang, Qi Wu,
• Abstract要約: 本稿では,適応型プロトタイプに基づく多モードフェデレート学習(AproMFL)フレームワークを提案する。 我々のAproMFLは、事前の公開データセットなしで適応的に構築されたプロトタイプを通じて知識を伝達する。 サーバはクライアントのプロトタイプを統一されたマルチモーダルプロトタイプに変換し、それらを集約してグローバルプロトタイプを形成する。
• 参考スコア（独自算出の注目度）: 12.67996108615162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Federated Learning (MFL) enables multiple clients to collaboratively train models on multimodal data while ensuring clients' privacy. However, modality and task heterogeneity hinder clients from learning a unified representation, weakening local model generalization, especially in MFL with mixed modalities where only some clients have multimodal data. In this work, we propose an Adaptive prototype-based Multimodal Federated Learning (AproMFL) framework for mixed modalities and heterogeneous tasks to address the aforementioned issues. Our AproMFL transfers knowledge through adaptively-constructed prototypes without a prior public dataset. Clients adaptively select prototype construction methods in line with tasks; server converts client prototypes into unified multimodal prototypes and aggregates them to form global prototypes, avoid clients keeping unified labels. We divide the model into various modules and only aggregate mapping modules to reduce communication and computation overhead. To address aggregation issues in heterogeneity, we develop a client relationship graph-based scheme to dynamically adjust aggregation weights. Extensive experiments on representative datasets evidence effectiveness of AproMFL.
• Abstract（参考訳）: MFL(Multimodal Federated Learning)は、複数のクライアントが、クライアントのプライバシを確保しながら、マルチモーダルデータ上でモデルを協調的にトレーニングすることを可能にする。 しかし、モダリティとタスクの不均一性は、クライアントが統一表現を学ぶことを妨げ、局所モデル一般化を弱める。 本研究では,アダプティブプロトタイプをベースとしたマルチモーダルフェデレート学習(Multimodal Federated Learning, AproMFL)フレームワークを提案する。 我々のAproMFLは、事前の公開データセットなしで適応的に構築されたプロトタイプを通じて知識を伝達する。 サーバはクライアントのプロトタイプを統一されたマルチモーダルプロトタイプに変換し、それらを集約してグローバルなプロトタイプを作成し、クライアントが統一されたラベルを保持するのを避ける。 我々は、モデルを様々なモジュールに分割し、通信と計算のオーバーヘッドを減らすために、マッピングモジュールを集約するだけです。 不均一性におけるアグリゲーション問題に対処するために,アグリゲーション重みを動的に調整するクライアント関係グラフベースのスキームを開発した。 代表的なデータセットに関する大規模な実験は、AproMFLの有効性を証明している。

関連論文リスト

• FedMerge: Federated Personalization via Model Merging [51.12769696559237]
  1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。 我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。 我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
  論文  参考訳（メタデータ） (2025-04-09T10:44:14Z)
• Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning [12.941603966989366]
  フェデレート・プロトタイプ・ラーニング(FedPL)は、フェデレート・ラーニング(FL)におけるデータ不均一性を扱う効果的な戦略として登場した。 テキストのモダリティから意味に富んだプロトタイプを構築するために,PLMを利用する新しい手法であるFedTSPを提案する。 クライアントイメージモデルとPLM間のモダリティギャップに対処するため、トレーニング可能なプロンプトを導入し、プロトタイプがクライアントタスクに適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-16T04:35:06Z)
• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection [14.261582708240407]
  FL(Multimodal Federated Learning)は、FL設定におけるモデルトレーニングを強化することを目的としている。 マルチモーダルFLの鍵となる課題は、特に異種ネットワーク設定において、未適応のままである。 マルチモーダル設定における上記の課題に対処できる新しいFL手法であるmmFedMCを提案する。
  論文  参考訳（メタデータ） (2024-01-30T02:16:19Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• FedMFS: Federated Multimodal Fusion Learning with Selective Modality Communication [11.254610576923204]
  選択的モーダル通信を用いたFedMFS(Federated Multimodal Fusion Learning)を提案する。 鍵となる考え方は、各デバイスに対するモダリティ選択基準の導入であり、(i)Shapley値解析によって測定されたモダリティの影響を重み付けし、(ii)モダリティモデルサイズを通信オーバーヘッドの指標とする。 実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
  論文  参考訳（メタデータ） (2023-10-10T22:23:27Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。