論文の概要: A General and Efficient Federated Split Learning with Pre-trained Image Transformers for Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2403.16050v1
- Date: Sun, 24 Mar 2024 07:33:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:45:32.026893
- Title: A General and Efficient Federated Split Learning with Pre-trained Image Transformers for Heterogeneous Data
- Title（参考訳）: 不均一データのための事前学習型画像変換器を用いた汎用的で効率的なフェデレーション分割学習
- Authors: Yifan Shi, Yuhui Zhang, Ziyue Huang, Xiaofeng Yang, Li Shen, Wei Chen, Xueqian Wang,
- Abstract要約: フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,初期モデルとしてFES-PIT(Pre-trained Image Transformer)を用い,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
また,FES-PTZOは,特にブラックボックスシナリオと互換性のある機能を有するため,勾配反転攻撃を阻害する。
- 参考スコア（独自算出の注目度）: 22.65325348176366
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Federated Split Learning (FSL) is a promising distributed learning paradigm in practice, which gathers the strengths of both Federated Learning (FL) and Split Learning (SL) paradigms, to ensure model privacy while diminishing the resource overhead of each client, especially on large transformer models in a resource-constrained environment, e.g., Internet of Things (IoT). However, almost all works merely investigate the performance with simple neural network models in FSL. Despite the minor efforts focusing on incorporating Vision Transformers (ViT) as model architectures, they train ViT from scratch, thereby leading to enormous training overhead in each device with limited resources. Therefore, in this paper, we harness Pre-trained Image Transformers (PITs) as the initial model, coined FES-PIT, to accelerate the training process and improve model robustness. Furthermore, we propose FES-PTZO to hinder the gradient inversion attack, especially having the capability compatible with black-box scenarios, where the gradient information is unavailable. Concretely, FES-PTZO approximates the server gradient by utilizing a zeroth-order (ZO) optimization, which replaces the backward propagation with just one forward process. Empirically, we are the first to provide a systematic evaluation of FSL methods with PITs in real-world datasets, different partial device participations, and heterogeneous data splits. Our experiments verify the effectiveness of our algorithms.
- Abstract（参考訳）: フェデレート・スプリット・ラーニング(FSL)は、実際に有望な分散学習パラダイムであり、フェデレート・ラーニング(FL)とスプリット・ラーニング(SL)の両方のパラダイムの長所を集め、モデルプライバシを確保しつつ、クライアントのリソースオーバーヘッドを低減し、特にリソース制約のある環境における大きなトランスフォーマーモデル(IoT)において、モデルのプライバシを確保する。
しかしながら、ほとんどすべての作業は、FSLの単純なニューラルネットワークモデルでの性能を単に調査するだけである。
ビジョントランスフォーマー(ViT)をモデルアーキテクチャとして組み込むことに焦点を絞った小さな努力にもかかわらず、彼らはViTをゼロからトレーニングし、リソースが限られている各デバイスで膨大なトレーニングオーバーヘッドを発生させた。
そこで本稿では,FES-PITと呼ばれる初期モデルとして事前学習画像変換器(PIT)を用い,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
さらに,FES-PTZOは,特に勾配情報が利用できないブラックボックスのシナリオと互換性のある機能を有するため,勾配反転攻撃を阻害する。
具体的には、FES-PTZOはゼロオーダー(ZO)最適化を利用してサーバ勾配を近似し、後方伝播を1つのプロセスに置き換える。
実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を最初に行った。
我々の実験はアルゴリズムの有効性を検証する。
関連論文リスト
- Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。
MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文 参考訳（メタデータ） (2024-05-31T19:27:03Z) - Efficient Language Model Architectures for Differentially Private
Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。
言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。
ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T22:21:48Z) - OnDev-LCT: On-Device Lightweight Convolutional Transformers towards
federated learning [29.798780069556074]
フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。
トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
論文 参考訳（メタデータ） (2024-01-22T02:17:36Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Memory-adaptive Depth-wise Heterogenous Federated Learning [24.13198329419849]
FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。
CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
論文 参考訳（メタデータ） (2023-03-08T20:52:57Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Federated Adversarial Training with Transformers [16.149924042225106]
フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。
本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
論文 参考訳（メタデータ） (2022-06-05T09:07:09Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳（メタデータ） (2021-06-10T21:04:18Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。