論文の概要: ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2511.19959v1
• Date: Tue, 25 Nov 2025 06:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.297352
• Title: ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models
• Title（参考訳）: ParaBlock: 大規模言語モデルのためのコミュニケーション計算並列ブロック協調学習
• Authors: Yujia Wang, Yuanpu Cao, Jinghui Chen,
• Abstract要約: ParaBlockは、通信効率を向上させるために、通信と計算のための2つの並列スレッドを確立する新しいアプローチである。 提案するParaBlockは,標準結合ブロック座標降下法と同じ収束率が得られることを理論的に証明する。
• 参考スコア（独自算出の注目度）: 40.212217681834616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has been extensively studied as a privacy-preserving training paradigm. Recently, federated block coordinate descent scheme has become a popular option in training large-scale models, as it allows clients to train only a subset of the model locally instead of the entire model. However, in the era of large language models (LLMs), even a single block can contain a significant number of parameters, posing substantial communication latency, particularly for resource-constrained clients. To address this challenge in federated training/fine-tuning LLMs, we propose ParaBlock, a novel approach that establishes two parallel threads for communication and computation to enhance communication efficiency. We theoretically prove that the proposed ParaBlock achieves the same convergence rate as the standard federated block coordinate descent methods. Empirical evaluations on fine-tuning LLMs on general instruction following and mathematical reasoning confirm that ParaBlock not only maintains strong performance but also significantly improves communication efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシー保護トレーニングパラダイムとして広く研究されている。 近年,クライアントがモデル全体ではなく,モデルのサブセットのみをローカルにトレーニングできるため,大規模モデルのトレーニングにおいて,フェデレートされたブロック座標降下方式が一般的な選択肢となっている。 しかし、大規模言語モデル (LLM) の時代においては、単一のブロックでさえかなりの数のパラメータを含むことができ、特にリソースに制約のあるクライアントでは、かなりの通信遅延が生じる。 この課題に対処するため,ParaBlockを提案する。ParaBlockは通信と計算の並列スレッドを2つ構築し,通信効率を向上する手法である。 提案するParaBlockは,標準結合ブロック座標降下法と同じ収束率が得られることを理論的に証明する。 汎用命令に対する微調整LDMの実証評価と数学的推論により、ParaBlockは高い性能を維持しているだけでなく、通信効率も著しく向上していることを確認した。

関連論文リスト

• Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T13:11:30Z)
• FedPURIN: Programmed Update and Reduced INformation for Sparse Personalized Federated Learning [25.55616766154517]
  プログラム更新と還元情報を用いたフェデレーション学習(FedPURIN)を提案する。 FedPURINは整数プログラミングの定式化を通じて送信する重要なパラメータを戦略的に識別する。 スパースアグリゲーション・スキームに統合され、有効性を保ちながら通信の大幅な削減を実現する。
  論文  参考訳（メタデータ） (2025-10-17T03:54:43Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Sparse Decentralized Federated Learning [35.32297764027417]
  分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。 Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。 数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning [9.177048551836897]
  ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である
  論文  参考訳（メタデータ） (2021-09-02T02:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。