論文の概要: Byzantine Resilient Federated Multi-Task Representation Learning
- arxiv url: http://arxiv.org/abs/2503.19209v1
- Date: Mon, 24 Mar 2025 23:26:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:54:35.230592
- Title: Byzantine Resilient Federated Multi-Task Representation Learning
- Title（参考訳）: Byzantine Resilient Federated Multi-Task Representation Learning
- Authors: Tuan Le, Shana Moothedath,
- Abstract要約: 欠陥や悪意のあるエージェントを扱うビザンチン耐性のマルチタスク表現学習フレームワークBR-MTRLを提案する。
このアプローチでは、クライアント固有の最終層を除いて、すべてのクライアントが固定層を共有する、共有ニューラルネットワークモデルによる表現学習を活用しています。
- 参考スコア（独自算出の注目度）: 1.6114012813668932
- License:
- Abstract: In this paper, we propose BR-MTRL, a Byzantine-resilient multi-task representation learning framework that handles faulty or malicious agents. Our approach leverages representation learning through a shared neural network model, where all clients share fixed layers, except for a client-specific final layer. This structure captures shared features among clients while enabling individual adaptation, making it a promising approach for leveraging client data and computational power in heterogeneous federated settings to learn personalized models. To learn the model, we employ an alternating gradient descent strategy: each client optimizes its local model, updates its final layer, and sends estimates of the shared representation to a central server for aggregation. To defend against Byzantine agents, we employ geometric median aggregation for robust client-server communication. Our method enables personalized learning while maintaining resilience in distributed settings. We implemented the proposed alternating gradient descent algorithm in a federated testbed built using Amazon Web Services (AWS) platform and compared its performance with various benchmark algorithms and their variations. Through extensive experiments using real-world datasets, including CIFAR-10 and FEMINIST, we demonstrated the effectiveness and robustness of our approach and its transferability to new unseen clients with limited data, even in the presence of Byzantine adversaries.
- Abstract（参考訳）: 本稿では,ビザンチン系レジリエントなマルチタスク表現学習フレームワークBR-MTRLを提案する。
このアプローチでは、クライアント固有の最終層を除いて、すべてのクライアントが固定層を共有する、共有ニューラルネットワークモデルによる表現学習を活用しています。
この構造は、個々の適応を可能にしながら、クライアント間の共有機能をキャプチャし、不均一なフェデレーション設定でクライアントデータと計算能力を活用してパーソナライズされたモデルを学ぶための有望なアプローチとなる。
各クライアントはローカルモデルを最適化し、最終レイヤを更新し、共有表現の見積を中央サーバに送信して集約する。
ビザンティンエージェントを防御するために,ロバストなクライアントサーバ通信に幾何的な中央集権的アグリゲーションを用いる。
本手法は分散環境でのレジリエンスを維持しながらパーソナライズされた学習を可能にする。
提案アルゴリズムをAmazon Web Services (AWS) プラットフォームで構築したフェデレーションテストベッドに実装し,その性能を各種ベンチマークアルゴリズムとそのバリエーションと比較した。
CIFAR-10 や FEMINIST などの実世界のデータセットを用いた広範囲な実験を通じて、ビザンツの敵がいても、我々のアプローチの有効性とロバスト性について、限られたデータを持つ新しい未確認クライアントに転送可能であることを実証した。
関連論文リスト
- Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。
本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-27T06:37:19Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - Cross-Silo Federated Learning Across Divergent Domains with Iterative Parameter Alignment [4.95475852994362]
フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。
我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。
この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-11-08T16:42:14Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳（メタデータ） (2021-05-02T22:10:46Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。