論文の概要: Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection

• arxiv url: http://arxiv.org/abs/2506.00743v1
• Date: Sat, 31 May 2025 23:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.217218
• Title: Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
• Title（参考訳）: アテンションヘッドの配置: ヘッドプルーニングとストラテジッククライアント選択によるフェデレーションPEFTの高速化
• Authors: Yeshwanth Venkatesha, Souvik Kundu, Priyadarshini Panda,
• Abstract要約: 本稿では,フェデレートラーニングフレームワーク内でPEFTを実行するための効率的な手法を提案する。 我々は,頭部刈り込み,頭部特異的重み付け機構,クライアント選択戦略を通じて課題に対処する。 我々は、20のニュースグループ、XL-Sum、E2E NLGデータセットと共に、MultiNLIベンチマークの結果を示す。
• 参考スコア（独自算出の注目度）: 11.398891065175686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter Efficient Fine-Tuning (PEFT) has become the de-facto approach in adapting Large Language Models (LLMs) for downstream tasks in Natural Language Processing. However, its adoption in privacy-preserving distributed learning frameworks, such as Federated Learning (FL), remains relatively limited. This is mainly due to challenges specific to FL, such as resource-constrained devices and diverse data distributions among clients. In this paper, we propose an efficient method to perform PEFT within the FL framework for Multi-Head Attention (MHA) based language models. We address the challenges through head pruning, a novel head-specific weighted aggregation mechanism, and a client selection strategy. Head pruning minimizes training complexity within the clients, guided by the importance score computed based on the confidence of the attention head. Weighted aggregation of heads ensures the global model captures crucial updates from diverse clients complementing our client selection strategy. We show results on the MultiNLI benchmark along with 20 Newsgroups, XL-Sum, and E2E NLG datasets. We use the MultiNLI dataset and T5-small model with LoRA as our PEFT method, attaining sparsity levels of up to 90%, resulting in a communication advantage of up to 1.8x and a reduction in training OPs of 3.9x while maintaining the accuracy drop under 2%.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、自然言語処理における下流タスクにLLM(Large Language Models)を適用するためのデファクトアプローチとなっている。 しかしながら、フェデレートラーニング(FL)など、プライバシを保存する分散学習フレームワークへの採用は、依然として比較的限られている。 これは主に、リソース制限されたデバイスやクライアント間の多様なデータ分散など、FL特有の課題が原因である。 本稿では,マルチヘッドアテンション(MHA)に基づく言語モデルのためのFLフレームワーク内でPEFTを実行するための効率的な手法を提案する。 我々は,頭部刈り込み,頭部特異的重み付け機構,クライアント選択戦略を通じて課題に対処する。 ヘッドプルーニングは、アテンションヘッドの信頼性に基づいて計算された重要度によって導かれる、クライアント内のトレーニングの複雑さを最小限にする。 ヘッドの重み付けにより、グローバルモデルがクライアント選択戦略を補完するさまざまなクライアントから重要なアップデートをキャプチャする。 我々は、20のニュースグループ、XL-Sum、E2E NLGデータセットと共に、MultiNLIベンチマークの結果を示す。 PEFT法では,Loraを用いたMultiNLIデータセットとT5小モデルを用い,空間レベルの最大90%を達成し,通信上の優位性を最大1.8倍に向上し,トレーニングOPの3.9倍を低減し,精度低下を2%以下に抑えることができた。

関連論文リスト

• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
  Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。 広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。 本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:44:28Z)
• Adaptive Federated Learning with Auto-Tuned Clients [8.868957280690832]
  Federated Learning(FL)は、中央サーバのグローバルモデルがデータを共有せずにクライアントに参加することで、複数の協調的なステップを通じてトレーニングされる分散機械学習フレームワークである。 我々は,SGD の単純なステップサイズルールである$Delta$-SGD を提案し,各クライアントが最適化している関数の局所的滑らかさに適応して,各クライアントが独自のステップサイズを利用できるようにした。
  論文  参考訳（メタデータ） (2023-06-19T23:46:42Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。