論文の概要: Zero-Shot Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2509.26462v1
- Date: Tue, 30 Sep 2025 16:13:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.614241
- Title: Zero-Shot Decentralized Federated Learning
- Title(参考訳): ゼロショット分散フェデレーションラーニング
- Authors: Alessio Masano, Matteo Pennisi, Federica Proietto Salanitri, Concetto Spampinato, Giovanni Bellitto,
- Abstract要約: 集中コーディネータを使わずに、分散クライアント間のゼロショット適応を可能にする、完全に分散化されたフレームワークであるゼロショット分散フェデレートラーニング(ZeroDFL)を提案する。
我々はZeroDFLを9つの多様な画像分類データセットで検証し、連続的に性能が向上することを示した。
これらの結果から,フェデレートされたゼロショット学習の一般化が促進されるだけでなく,拡張性,効率性,プライバシ保護が向上し,現実のアプリケーションにおける大規模視覚言語モデルの分散適応が促進されることがわかった。
- 参考スコア(独自算出の注目度): 10.60647737661699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: CLIP has revolutionized zero-shot learning by enabling task generalization without fine-tuning. While prompting techniques like CoOp and CoCoOp enhance CLIP's adaptability, their effectiveness in Federated Learning (FL) remains an open challenge. Existing federated prompt learning approaches, such as FedCoOp and FedTPG, improve performance but face generalization issues, high communication costs, and reliance on a central server, limiting scalability and privacy. We propose Zero-shot Decentralized Federated Learning (ZeroDFL), a fully decentralized framework that enables zero-shot adaptation across distributed clients without a central coordinator. ZeroDFL employs an iterative prompt-sharing mechanism, allowing clients to optimize and exchange textual prompts to enhance generalization while drastically reducing communication overhead. We validate ZeroDFL on nine diverse image classification datasets, demonstrating that it consistently outperforms--or remains on par with--state-of-the-art federated prompt learning methods. More importantly, ZeroDFL achieves this performance in a fully decentralized setting while reducing communication overhead by 118x compared to FedTPG. These results highlight that our approach not only enhances generalization in federated zero-shot learning but also improves scalability, efficiency, and privacy preservation--paving the way for decentralized adaptation of large vision-language models in real-world applications.
- Abstract(参考訳): CLIPは、微調整なしでタスクの一般化を可能にすることで、ゼロショット学習に革命をもたらした。
CoOpやCoCoOpといったテクニックがCLIPの適応性を高める一方で、フェデレートラーニング(FL)におけるその効果は依然としてオープンな課題である。
FedCoOpやFedTPGといった既存のフェデレートされたプロンプト学習アプローチでは、パフォーマンスが向上するが、一般化の問題、通信コストの高騰、中央サーバへの依存、スケーラビリティとプライバシの制限などに直面している。
集中コーディネータを使わずに、分散クライアント間のゼロショット適応を可能にする、完全に分散化されたフレームワークであるゼロショット分散フェデレートラーニング(ZeroDFL)を提案する。
ZeroDFLは反復的なプロンプト共有機構を採用しており、クライアントはテキストプロンプトを最適化し、交換することで、通信オーバーヘッドを大幅に削減しつつ、一般化を強化することができる。
我々はZeroDFLを9つの多様な画像分類データセットで検証し、連続的に性能が向上することを示した。
さらに重要なことは、ZeroDFLはFedTPGと比較して通信オーバーヘッドを118倍削減しながら、完全に分散した環境でこの性能を達成することである。
これらの結果から,フェデレートされたゼロショット学習の一般化が促進されるだけでなく,拡張性,効率性,プライバシ保護が向上し,現実のアプリケーションにおける大規模視覚言語モデルの分散適応が促進されることがわかった。
関連論文リスト
- On the Fast Adaptation of Delayed Clients in Decentralized Federated Learning: A Centroid-Aligned Distillation Approach [0.27309692684728615]
DFedCADはCentroid-Aligned Distillationによる迅速な適応のための新しいフレームワークである。
遅延クライアントがインテリジェントに評価し、ピアナレッジと整合することを可能にする。
CIFAR-10、CIFAR-100、Tiny-ImageNetの実験では、DFedCADは一貫して最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-08-05T01:41:30Z) - A Single Merging Suffices: Recovering Server-based Learning Performance in Decentralized Learning [17.386971981099588]
我々は、いつ、どれだけの頻度でデバイスが同期するかを決定することを含む、時間とともに通信がスケジュールされるかを検討する。
単一のグローバルマージによって実装された最終段階における完全接続通信は、サーバベースのトレーニングのパフォーマンスに匹敵するほど十分であることがわかった。
論文 参考訳(メタデータ) (2025-07-09T04:56:56Z) - UA-PDFL: A Personalized Approach for Decentralized Federated Learning [5.065947993017158]
フェデレートラーニング(Federated Learning, FL)は、データ漏洩なしにグローバルモデルを協調的に学習するように設計された、プライバシ保護機械学習パラダイムである。
この問題を軽減するために、分散統合学習(DFL)が提案され、すべてのクライアントが中央サーバなしでピアツーピア通信を行う。
我々は,DFLにおける非IID課題に対処するため,UA-PDFLという,分散化された分散学習フレームワークを支援する新しい単位表現を提案する。
論文 参考訳(メタデータ) (2024-12-16T11:27:35Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - SCALE: Self-regulated Clustered federAted LEarning in a Homogeneous Environment [4.925906256430176]
フェデレートラーニング(FL)は、ユーザのプライバシを維持しながら、分散機械学習を実現するための変革的なアプローチとして登場した。
本稿では,エッジサーバへの依存を排除し,これらの制約を克服する新しいFL手法を提案する。
論文 参考訳(メタデータ) (2024-07-25T20:42:16Z) - FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。
FLにおける重要なボトルネックは通信コストです。
我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。
我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
論文 参考訳(メタデータ) (2024-03-14T22:29:59Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。