論文の概要: Federated Learning for Inference at Anytime and Anywhere

• arxiv url: http://arxiv.org/abs/2212.04084v1
• Date: Thu, 8 Dec 2022 05:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 16:25:37.546701
• Title: Federated Learning for Inference at Anytime and Anywhere
• Title（参考訳）: 任意の場所での推論のための連合学習
• Authors: Zicheng Liu, Da Li, Javier Fernandez-Marques, Stefanos Laskaridis, Yan Gao, {\L}ukasz Dudziak, Stan Z. Li, Shell Xu Hu, Timothy Hospedales
• Abstract要約: 本稿では,フェデレートラーニング(FL)における事前学習型トランスフォーマーモデルの活用の課題と可能性について考察する。 本稿では,各トランスブロックに新しいアテンションベースのアダプタモジュールを注入することで,事前学習したモデルの適応を効果的に行うことを提案する。 CIFAR-100、FEMNIST、SpeechCommandsv2などの標準FLベンチマークの実験は、この単純なフレームワークが高速で正確なFLを提供することを示した。
• 参考スコア（独自算出の注目度）: 37.75955497140009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has been predominantly concerned with collaborative training of deep networks from scratch, and especially the many challenges that arise, such as communication cost, robustness to heterogeneous data, and support for diverse device capabilities. However, there is no unified framework that addresses all these problems together. This paper studies the challenges and opportunities of exploiting pre-trained Transformer models in FL. In particular, we propose to efficiently adapt such pre-trained models by injecting a novel attention-based adapter module at each transformer block that both modulates the forward pass and makes an early prediction. Training only the lightweight adapter by FL leads to fast and communication-efficient learning even in the presence of heterogeneous data and devices. Extensive experiments on standard FL benchmarks, including CIFAR-100, FEMNIST and SpeechCommandsv2 demonstrate that this simple framework provides fast and accurate FL while supporting heterogenous device capabilities, efficient personalization, and scalable-cost anytime inference.
• Abstract（参考訳）: 連合学習は主に、深層ネットワークのスクラッチからの共同トレーニング、特に通信コスト、異種データへの堅牢性、多様なデバイス機能のサポートといった多くの課題に関係している。 しかし、これらすべての問題を解決する統一フレームワークは存在しない。 本稿では,FLにおける事前学習型トランスフォーマーモデルの活用の課題と可能性について検討する。 特に、フォワードパスを変調し、早期予測を行う各トランスブロックに新しい注意ベースのアダプタモジュールを注入することにより、事前学習したモデルに効率的に適応することを提案する。 FLによる軽量アダプタのみのトレーニングは、異種データやデバイスの存在下でも、高速でコミュニケーション効率の高い学習につながる。 CIFAR-100、FEMNIST、SpeechCommandsv2などの標準FLベンチマークに関する大規模な実験は、この単純なフレームワークが、異種デバイス機能、効率的なパーソナライゼーション、スケーラブルな任意の時間推論をサポートしながら、高速で正確なFLを提供することを示した。

関連論文リスト

• WHALE-FL: Wireless and Heterogeneity Aware Latency Efficient Federated Learning over Mobile Devices via Adaptive Subnetwork Scheduling [17.029433544096257]
  我々は,適応サブネットワークスケジューリングによるFLトレーニングを高速化するために,無線かつ認識可能な遅延効率FL(WHALE-FL)アプローチを開発した。 評価の結果,WHALE-FLはピアデザインと比較して,学習精度を犠牲にすることなく,FLトレーニングを効果的に加速することがわかった。
  論文  参考訳（メタデータ） (2024-05-01T22:01:40Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Federated Learning for Computationally-Constrained Heterogeneous Devices: A Survey [3.219812767529503]
  フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。 現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
  論文  参考訳（メタデータ） (2023-07-18T12:05:36Z)
• FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
  Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。 本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:37:17Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
  Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。 本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
  論文  参考訳（メタデータ） (2022-02-23T10:08:43Z)
• FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。 本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
  論文  参考訳（メタデータ） (2021-10-19T12:18:37Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。