論文の概要: CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction

• arxiv url: http://arxiv.org/abs/2601.12917v1
• Date: Mon, 19 Jan 2026 10:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.855356
• Title: CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction
• Title（参考訳）: CooperLLM: ZOOベースのグラディエント補正によるLLMのためのクラウドエッジエンド協調ファインタニング
• Authors: He Sun, Jinrui Zhou, Li Li, Mingjun Xiao,
• Abstract要約: CooperLLMは、大規模言語モデルのためのクラウド支援エッジ・エンド・コラボレーティブ・ファインチューニングフレームワークである。 モバイルクライアントはプライベートデータに対して軽量なZOO更新を実行し、クラウドはバックプロパゲーションを使用して補助的な公開データに微調整を行う。 実験によると、CooperLLMはデバイス上のメモリを最大8.4%削減し、収束を8.8倍加速し、最先端のZOOベースラインよりも最大10ポイント精度を向上させる。
• 参考スコア（独自算出の注目度）: 11.400262154715074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) perform well on many NLP tasks, but fine-tuning them on resource-constrained mobile devices is challenging due to high memory and computation costs, despite growing demands for privacy-preserving personalization. Federated Learning (FL) enables local-data training, yet existing methods either rely on memory-intensive backpropagation or use zeroth-order optimization (ZOO), which avoids backward passes but suffers from slow convergence and degraded accuracy. We propose CooperLLM, a cloud-assisted edge-end cooperative federated fine-tuning framework that combines ZOO on mobile devices with cloud-guided gradient rectification. Mobile clients perform lightweight ZOO updates on private data, while the cloud fine-tunes on auxiliary public data using backpropagation and injects guided perturbations to rectify local updates, improving convergence and accuracy without violating privacy. To address system bottlenecks, CooperLLM introduces pipeline scheduling and adaptive compression to overlap computation and communication and reduce memory usage. Experiments on multiple Transformer models and datasets show that CooperLLM reduces on-device memory by up to $86.4\%$, accelerates convergence by $8.8 \times$, and improves accuracy by up to 10 percentage points over state-of-the-art ZOO-based baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのNLPタスクでうまく機能するが、リソース制限されたモバイルデバイスでそれらを微調整することは、プライバシ保護のパーソナライゼーションの要求が増えているにもかかわらず、高いメモリと計算コストのために困難である。 フェデレートラーニング(FL)は、ローカルデータのトレーニングを可能にするが、既存の手法は、メモリ集約的なバックプロパゲーションに依存するか、ゼロ階最適化(ZOO)を使用する。 我々は,モバイル機器上でZOOとクラウド誘導勾配補正を組み合わせた,クラウド支援エッジ連携型ファインチューニングフレームワークであるCooperLLMを提案する。 モバイルクライアントはプライベートデータに対して軽量なZOO更新を実行する一方、クラウドはバックプロパゲーションを使用して補助的な公開データに微調整を行い、ガイド付き摂動を注入してローカル更新を修正し、プライバシに違反することなく収束と正確性を改善する。 システムのボトルネックに対処するため、CooperLLMはパイプラインスケジューリングと適応圧縮を導入し、計算と通信の重複とメモリ使用量の削減を実現している。 複数のTransformerモデルとデータセットの実験により、CooperLLMはデバイス上のメモリを最大86.4 %$に削減し、コンバージェンスを8.8 \times$に加速し、最先端のZOOベースラインよりも最大10%精度を向上した。

関連論文リスト

• Lean Clients, Full Accuracy: Hybrid Zeroth- and First-Order Split Federated Learning [13.865545923124055]
  Split Federated Learning (SFL)は、リソース制約のあるエッジデバイスと計算量の多いサーバとの協調トレーニングを可能にする。 通信オーバーヘッドはSFLの中心的な問題であり、補助的なネットワークで緩和することができる。 HERON-SFLは、サーバ上の一階(FO)最適化を維持しながら、ローカルクライアントトレーニングのためのゼロ階(ZO)最適化を統合する。
  論文  参考訳（メタデータ） (2026-01-14T02:17:49Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning [16.47223778897796]
  不均一なモバイルデバイス上の大規模言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。 従来のLLM FTは、モバイルハードウェア上での計算とメモリの負荷を禁止している。 我々は,多種多様な計算/通信速度と局所モデルアーキテクチャを持つモバイルデバイス間での効率的なLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。
  論文  参考訳（メタデータ） (2025-08-09T00:41:48Z)
• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。