論文の概要: Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection

• arxiv url: http://arxiv.org/abs/2506.00743v1
• Date: Sat, 31 May 2025 23:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.217218
• Title: Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
• Title（参考訳）: アテンションヘッドの配置: ヘッドプルーニングとストラテジッククライアント選択によるフェデレーションPEFTの高速化
• Authors: Yeshwanth Venkatesha, Souvik Kundu, Priyadarshini Panda,
• Abstract要約: 本稿では,フェデレートラーニングフレームワーク内でPEFTを実行するための効率的な手法を提案する。 我々は,頭部刈り込み,頭部特異的重み付け機構,クライアント選択戦略を通じて課題に対処する。 我々は、20のニュースグループ、XL-Sum、E2E NLGデータセットと共に、MultiNLIベンチマークの結果を示す。
• 参考スコア（独自算出の注目度）: 11.398891065175686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter Efficient Fine-Tuning (PEFT) has become the de-facto approach in adapting Large Language Models (LLMs) for downstream tasks in Natural Language Processing. However, its adoption in privacy-preserving distributed learning frameworks, such as Federated Learning (FL), remains relatively limited. This is mainly due to challenges specific to FL, such as resource-constrained devices and diverse data distributions among clients. In this paper, we propose an efficient method to perform PEFT within the FL framework for Multi-Head Attention (MHA) based language models. We address the challenges through head pruning, a novel head-specific weighted aggregation mechanism, and a client selection strategy. Head pruning minimizes training complexity within the clients, guided by the importance score computed based on the confidence of the attention head. Weighted aggregation of heads ensures the global model captures crucial updates from diverse clients complementing our client selection strategy. We show results on the MultiNLI benchmark along with 20 Newsgroups, XL-Sum, and E2E NLG datasets. We use the MultiNLI dataset and T5-small model with LoRA as our PEFT method, attaining sparsity levels of up to 90%, resulting in a communication advantage of up to 1.8x and a reduction in training OPs of 3.9x while maintaining the accuracy drop under 2%.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、自然言語処理における下流タスクにLLM(Large Language Models)を適用するためのデファクトアプローチとなっている。 しかしながら、フェデレートラーニング(FL)など、プライバシを保存する分散学習フレームワークへの採用は、依然として比較的限られている。 これは主に、リソース制限されたデバイスやクライアント間の多様なデータ分散など、FL特有の課題が原因である。 本稿では,マルチヘッドアテンション(MHA)に基づく言語モデルのためのFLフレームワーク内でPEFTを実行するための効率的な手法を提案する。 我々は,頭部刈り込み,頭部特異的重み付け機構,クライアント選択戦略を通じて課題に対処する。 ヘッドプルーニングは、アテンションヘッドの信頼性に基づいて計算された重要度によって導かれる、クライアント内のトレーニングの複雑さを最小限にする。 ヘッドの重み付けにより、グローバルモデルがクライアント選択戦略を補完するさまざまなクライアントから重要なアップデートをキャプチャする。 我々は、20のニュースグループ、XL-Sum、E2E NLGデータセットと共に、MultiNLIベンチマークの結果を示す。 PEFT法では,Loraを用いたMultiNLIデータセットとT5小モデルを用い,空間レベルの最大90%を達成し,通信上の優位性を最大1.8倍に向上し,トレーニングOPの3.9倍を低減し,精度低下を2%以下に抑えることができた。

関連論文リスト

• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Federated Multimodal Learning with Dual Adapters and Selective Pruning for Communication and Computational Efficiency [6.0860246234554545]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間の協調学習を可能にする。 本稿では,これらの課題に対処するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-10T17:21:33Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
  Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。 広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。 本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:44:28Z)
• Adaptive Federated Learning with Auto-Tuned Clients [8.868957280690832]
  Federated Learning(FL)は、中央サーバのグローバルモデルがデータを共有せずにクライアントに参加することで、複数の協調的なステップを通じてトレーニングされる分散機械学習フレームワークである。 我々は,SGD の単純なステップサイズルールである$Delta$-SGD を提案し,各クライアントが最適化している関数の局所的滑らかさに適応して,各クライアントが独自のステップサイズを利用できるようにした。
  論文  参考訳（メタデータ） (2023-06-19T23:46:42Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
  Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。 この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。 本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。 第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
  論文  参考訳（メタデータ） (2021-05-31T17:54:29Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。