論文の概要: FedHFT: Efficient Federated Finetuning with Heterogeneous Edge Clients

• arxiv url: http://arxiv.org/abs/2510.14054v1
• Date: Wed, 15 Oct 2025 19:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.600782
• Title: FedHFT: Efficient Federated Finetuning with Heterogeneous Edge Clients
• Title（参考訳）: FedHFT: ヘテロジニアスエッジクライアントによる効率的なフェデレートファインタニング
• Authors: Fatih Ilhan, Selim Furkan Tekin, Tiansheng Huang, Gaowen Liu, Ramana Kompella, Greg Eisenhauer, Yingyan Celine Lin, Calton Pu, Ling Liu,
• Abstract要約: 微調整付き事前学習型大規模言語モデル(LLM)は、パーソナライズされた自然言語理解(NLU)アプリケーションにおいて一般的なプラクティスとなっている。 i) プロプライエタリなデータ機密性やプライバシ要件による微調整のための制限されたデータおよび/またはヘテロジニアスなデータ、(ii) エッジデバイスなどの参加クライアントで利用可能なさまざまなリソース、という2つの大きな課題があります。 本稿では,両課題に対処する,効率的かつパーソナライズされたファインチューニングフレームワークであるFedHFTを提案する。
• 参考スコア（独自算出の注目度）: 37.60974510385015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained large language models (LLMs) has become a common practice for personalized natural language understanding (NLU) applications on downstream tasks and domain-specific datasets. However, there are two main challenges: (i) limited and/or heterogeneous data for fine-tuning due to proprietary data confidentiality or privacy requirements, and (ii) varying computation resources available across participating clients such as edge devices. This paper presents FedHFT - an efficient and personalized federated fine-tuning framework to address both challenges. First, we introduce a mixture of masked adapters to handle resource heterogeneity across participating clients, enabling high-performance collaborative fine-tuning of pre-trained language model(s) across multiple clients in a distributed setting, while keeping proprietary data local. Second, we introduce a bi-level optimization approach to handle non-iid data distribution based on masked personalization and client clustering. Extensive experiments demonstrate significant performance and efficiency improvements over various natural language understanding tasks under data and resource heterogeneity compared to representative heterogeneous federated learning methods.
• Abstract（参考訳）: ダウンストリームタスクやドメイン固有のデータセット上でのパーソナライズされた自然言語理解(NLU)アプリケーションにおいて、微調整済みの大規模言語モデル(LLM)が一般的なプラクティスとなっている。 しかし、主な課題は2つある。 一 独自データ機密性又はプライバシー要件による微調整のための制限及び/又は異種データ (ii)エッジデバイスなどの参加クライアントで利用可能なさまざまな計算リソース。 本稿では,両課題に対処する,効率的かつパーソナライズされたファインチューニングフレームワークであるFedHFTを提案する。 まず、参加するクライアント間でリソースの不均一性を扱うためのマスク付きアダプタの混合を導入し、プロプライエタリなデータをローカルに保ちながら、複数のクライアント間で事前訓練された言語モデルの高性能な微調整を可能にする。 第二に、マスク付きパーソナライゼーションとクライアントクラスタリングに基づく非IDデータ分散を扱うための二段階最適化手法を提案する。 データと資源の不均一性の下での自然言語理解タスクの性能と効率は、代表的ヘテロジニアスなフェデレーション学習法と比較して大幅に向上した。

関連論文リスト

• FedPPA: Progressive Parameter Alignment for Personalized Federated Learning [0.9931624906346306]
  フェデレートラーニング(FL)は、複数のクライアントがデータを共有せずに協調的にモデルをトレーニングできる、分散されたプライバシ保護機械学習パラダイムとして設計されている。 実世界のシナリオでは、クライアントは不均一な計算資源を持ち、非独立で同一の分散データ(非IID)を保持し、トレーニング中に重大な課題を生じさせる。 本稿では,クライアント間の共通レイヤの重み付けとグローバルモデルの重み付けを段階的に整合させるプログレッシブアライメント(FedPPA)を提案する。 MNIST、FMNIST、CIFAR-10を含む3つの画像分類データセットの実験は、FedPPAが既存のFLアルゴリズムより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-10-16T14:03:05Z)
• Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
  計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。 実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。 実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Client Selection in Federated Learning with Data Heterogeneity and Network Latencies [19.161254709653914]
  Federated Learning(FL)は、複数のクライアントがプライベートデータに基づいてローカルトレーニングを行う分散機械学習パラダイムである。 本稿では,両不均一性を扱う理論的に最適なクライアント選択方式を2つ提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:31:15Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。