Fugu-MT 論文翻訳(概要): Global and Local Prompts Cooperation via Optimal Transport for Federated Learning

論文の概要: Global and Local Prompts Cooperation via Optimal Transport for Federated Learning

arxiv url: http://arxiv.org/abs/2403.00041v1
Date: Thu, 29 Feb 2024 11:43:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-05 19:27:00.048729
Title: Global and Local Prompts Cooperation via Optimal Transport for Federated Learning
Title（参考訳）: フェデレーション学習のための最適輸送によるグローバルおよびローカルプロンプト協調
Authors: Hongxia Li, Wei Huang, Jingya Wang and Ye Shi
Abstract要約: 本稿では,FedOTP(Federated Prompts Cooperation via Optimal Transport)を提案する。各クライアントに対して、クライアント間のコンセンサス知識を抽出するためのグローバルなプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルなプロンプトを学習する。不均衡な最適輸送は、これらのプロンプトと局所的な視覚的特徴を整合させるために使用され、グローバルなコンセンサスと局所的なパーソナライゼーションのバランスを損なう。
参考スコア（独自算出の注目度）: 14.914477928398133
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt learning in pretrained visual-language models has shown remarkable flexibility across various downstream tasks. Leveraging its inherent lightweight nature, recent research attempted to integrate the powerful pretrained models into federated learning frameworks to simultaneously reduce communication costs and promote local training on insufficient data. Despite these efforts, current federated prompt learning methods lack specialized designs to systematically address severe data heterogeneities, e.g., data distribution with both label and feature shifts involved. To address this challenge, we present Federated Prompts Cooperation via Optimal Transport (FedOTP), which introduces efficient collaborative prompt learning strategies to capture diverse category traits on a per-client basis. Specifically, for each client, we learn a global prompt to extract consensus knowledge among clients, and a local prompt to capture client-specific category characteristics. Unbalanced Optimal Transport is then employed to align local visual features with these prompts, striking a balance between global consensus and local personalization. Extensive experiments on datasets with various types of heterogeneities have demonstrated that our FedOTP outperforms the state-of-the-art methods.
Abstract（参考訳）: 事前訓練された視覚言語モデルのプロンプト学習は、様々な下流タスクで顕著な柔軟性を示している。本質的に軽量な性質を生かした最近の研究は、強力な事前学習されたモデルを連合学習フレームワークに統合し、通信コストを削減し、不十分なデータに対するローカルトレーニングを促進することを試みた。これらの取り組みにもかかわらず、現在の連合型プロンプト学習法は、ラベルと特徴シフトの両方を含むデータ分布など、厳しいデータ不均一性に体系的に対処するための特別な設計を欠いている。この課題に対処するため,我々は,最適なトランスポート (fedotp) によるフェデレートプロンプト協調を提案し,クライアント毎の多様なカテゴリ特性を捉えるための効率的な協調プロンプト学習戦略を提案する。具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するグローバルプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルプロンプトを学習する。非バランスな最適輸送は、局所的な視覚的特徴とこれらのプロンプトを整合させ、グローバルなコンセンサスと局所的パーソナライゼーションのバランスを取るために使われる。多様な異種性を持つデータセットに対する大規模な実験は、我々のFedOTPが最先端の手法よりも優れていることを示した。

関連論文リスト

Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models [7.810284483002312]
我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。 pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
論文参考訳（メタデータ） (2024-10-14T03:05:12Z)
A Resource-Adaptive Approach for Federated Learning under Resource-Constrained Environments [22.038826059430242]
本稿では,不均一な制約リソースを持つ複数のクライアントを対象とする,基礎的連合学習(FL)問題について検討する。資源適応型非同期フェデレーション学習アルゴリズムであるFed-RAAを提案する。
論文参考訳（メタデータ） (2024-06-19T08:55:40Z)
SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文参考訳（メタデータ） (2024-06-18T01:56:22Z)
FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data [13.146806294562474]
本稿では,FedCoSR(Federated Contrastive Shareable Representations)という,個人化学習アルゴリズムを提案する。ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報である。クライアント間でのラベル分布スキューによる性能の低下に対処するため、局所表現とグローバル表現の対比学習を採用する。
論文参考訳（メタデータ） (2024-04-27T14:05:18Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
FedProc: Prototypical Contrastive Federated Learning on Non-IID data [24.1906520295278]
フェデレーション学習は、複数のクライアントが協力してディープラーニングモデルをトレーニングし、トレーニングデータをローカルに保持することを可能にする。我々はFedProc: 原型的コントラスト型フェデレーション学習を提案する。 FedProcは計算コストを許容して精度を$1.6%sim7.9%向上することを示す。
論文参考訳（メタデータ） (2021-09-25T04:32:23Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。