論文の概要: Inclusive Data Representation in Federated Learning: A Novel Approach Integrating Textual and Visual Prompt

• arxiv url: http://arxiv.org/abs/2310.04455v1
• Date: Wed, 4 Oct 2023 11:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-15 14:38:31.837671
• Title: Inclusive Data Representation in Federated Learning: A Novel Approach Integrating Textual and Visual Prompt
• Title（参考訳）: 連合学習におけるインクルーシブデータ表現:テキストとビジュアルプロンプトを融合した新しいアプローチ
• Authors: Zihao Zhao, Zhenpeng Shi, Yang Liu, Wenbo Ding
• Abstract要約: 我々は、視覚とテキストの両モードを統合する先駆的なソリューションであるTwin Prompt Federated Learning (TPFL)を紹介する。 データの不均一性問題に対処するために、クライアントモデルのグローバルな知識獲得を促進するだけでなく、堅牢でコンパクトなモデルの開発を促進するAugmented TPFL(ATPFL)を導入する。 TPFLとATPFLの有効性は広範囲な評価によって実証され,全てのベースラインと比較して常に優れた性能を示した。
• 参考スコア（独自算出の注目度）: 12.869146009608816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is often impeded by communication overhead issues. Prompt tuning, as a potential solution, has been introduced to only adjust a few trainable parameters rather than the whole model. However, current single-modality prompt tuning approaches fail to comprehensively portray local clients' data. To overcome this limitation, we present Twin Prompt Federated learning (TPFL), a pioneering solution that integrates both visual and textual modalities, ensuring a more holistic representation of local clients' data characteristics. Furthermore, in order to tackle the data heterogeneity issues, we introduce the Augmented TPFL (ATPFL) employing the contrastive learning to TPFL, which not only enhances the global knowledge acquisition of client models but also fosters the development of robust, compact models. The effectiveness of TPFL and ATPFL is substantiated by our extensive evaluations, consistently showing superior performance compared to all baselines.
• Abstract（参考訳）: 連合学習(fl)は、しばしばコミュニケーションのオーバーヘッドの問題によって妨げられる。 プロンプトチューニングは、潜在的な解決策として、モデル全体ではなく、いくつかのトレーニング可能なパラメータを調整するために導入された。 しかし、現在のシングルモダリティ・プロンプト・チューニングアプローチでは、ローカルクライアントのデータを包括的に表現できない。 この制限を克服するために,視覚とテキストのモダリティを統合し,ローカルクライアントのデータ特性をより包括的に表現する,先駆的なソリューションであるtwin prompt federated learning(tpfl)を提案する。 さらに,データ不均一性問題に対処するために,クライアントモデルのグローバルな知識獲得を促進させるだけでなく,堅牢でコンパクトなモデルの開発を促進するために,比較学習を用いた拡張TPFL(ATPFL)を導入する。 TPFLとATPFLの有効性は広範囲な評価によって実証され,全てのベースラインと比較して常に優れた性能を示した。

関連論文リスト

• Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients [10.397502254316645]
  フェデレートラーニングは、分散センシティブなデータに取り組むために広く利用されている。 Topology-Aware Federated Learning (TFL)は、オフ・オブ・フェデレーション(OOF)データに対して堅牢なモデルをトレーニングする。 クライアントトポロジ学習(Client Topology Learning)とクライアントトポロジ学習(Learning on Client Topology)という2つの重要なモジュールからなるTFLの新しい最適化問題を定式化する。 様々な実世界のデータセットに対する実証的な評価は、TFLの優れたOOF堅牢性とスケーラビリティを検証する。
  論文  参考訳（メタデータ） (2024-07-06T03:57:05Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
  不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。 我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
  論文  参考訳（メタデータ） (2024-01-06T14:43:47Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。