論文の概要: FLIP: Towards Comprehensive and Reliable Evaluation of Federated Prompt Learning
- arxiv url: http://arxiv.org/abs/2503.22263v1
- Date: Fri, 28 Mar 2025 09:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:32:04.578431
- Title: FLIP: Towards Comprehensive and Reliable Evaluation of Federated Prompt Learning
- Title（参考訳）: FLIP:Federated Prompt Learningの総合的・信頼性評価に向けて
- Authors: Dongping Liao, Xitong Gao, Yabo Xu, Chengzhong Xu,
- Abstract要約: 我々は、フェデレートされた素早い学習アルゴリズムを評価するための包括的フレームワークFLIPを紹介した。
FLIPは、4つのフェデレーション学習プロトコルと12のオープンデータセットにまたがる8つの最先端のフェデレーション学習手法の性能を評価する。
本研究は, 資源消費を最小に抑えつつ, 配当と配当の双方において, 迅速な学習が強力な一般化性能を維持することを示すものである。
- 参考スコア（独自算出の注目度）: 18.79033094563453
- License:
- Abstract: The increasing emphasis on privacy and data security has driven the adoption of federated learning, a decentralized approach to train machine learning models without sharing raw data. Prompt learning, which fine-tunes prompt embeddings of pretrained models, offers significant advantages in federated settings by reducing computational costs and communication overheads while leveraging the strong performance and generalization capabilities of vision-language models such as CLIP. This paper addresses the intersection of federated learning and prompt learning, particularly for vision-language models. In this work, we introduce a comprehensive framework, named FLIP, to evaluate federated prompt learning algorithms. FLIP assesses the performance of 8 state-of-the-art federated prompt learning methods across 4 federated learning protocols and 12 open datasets, considering 6 distinct evaluation scenarios. Our findings demonstrate that prompt learning maintains strong generalization performance in both in-distribution and out-of-distribution settings with minimal resource consumption. This work highlights the effectiveness of federated prompt learning in environments characterized by data scarcity, unseen classes, and cross-domain distributional shifts. We open-source the code for all implemented algorithms in FLIP to facilitate further research in this domain.
- Abstract（参考訳）: プライバシとデータセキュリティの重視が強まり、生データを共有せずに機械学習モデルをトレーニングする分散型アプローチであるフェデレーションドラーニングが採用されるようになった。
事前訓練されたモデルの埋め込みをファインチューンで促進するPrompt Learningは、CLIPのような視覚言語モデルの強力な性能と一般化能力を活用しながら、計算コストと通信オーバーヘッドを削減することにより、フェデレートされた設定において大きな利点をもたらす。
本稿では,特に視覚言語モデルにおいて,フェデレーション学習と即時学習の交わりについて論じる。
そこで本研究では,フェデレートされたプロンプト学習アルゴリズムを評価するために,FLIPと呼ばれる包括的フレームワークを導入する。
FLIPは、6つの異なる評価シナリオを考慮して、4つのフェデレーション学習プロトコルと12のオープンデータセットにまたがる8つの最先端のフェデレーション学習手法の性能を評価する。
本研究は, 資源消費を最小に抑えつつ, 配当と配当の双方において, 迅速な学習が強力な一般化性能を維持することを示すものである。
この研究は、データ不足、見えないクラス、ドメイン間の分散シフトを特徴とする環境における連合的即時学習の有効性を強調した。
我々は、FLIPで実装された全てのアルゴリズムのコードをオープンソース化し、この領域におけるさらなる研究を促進する。
関連論文リスト
- OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning [44.200613313936024]
大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。
本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。
私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
論文 参考訳（メタデータ） (2024-02-10T13:50:11Z) - Factor-Assisted Federated Learning for Personalized Optimization with
Heterogeneous Data [6.024145412139383]
フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。
異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。
我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
論文 参考訳（メタデータ） (2023-12-07T13:05:47Z) - Exploring Federated Unlearning: Analysis, Comparison, and Insights [101.64910079905566]
フェデレーション・アンラーニングは、フェデレーション・システムで訓練されたモデルからデータを選択的に除去することを可能にする。
本稿では,既存のフェデレーション・アンラーニング手法について検討し,アルゴリズムの効率,モデル精度への影響,プライバシ保護の有効性について検討する。
フェデレートされたアンラーニング手法を評価するための統一ベンチマークであるOpenFederatedUnlearningフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-30T01:34:33Z) - Efficient Cluster Selection for Personalized Federated Learning: A
Multi-Armed Bandit Approach [2.5477011559292175]
フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。
本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-29T16:46:50Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳（メタデータ） (2021-07-14T08:32:39Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。