論文の概要: DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2606.03209v1
• Date: Tue, 02 Jun 2026 06:08:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.798334
• Title: DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data
• Title（参考訳）: DECA:非IIDデータを用いた高効率LLMフルパラメータ微調整のためのブロック幅アダムの分散化
• Authors: Yunsheng Yuan, Shaowei Li, Kai Wang, Zhongyuan Sun, Zheng Zhang, Kai Han, Jun Luo, Feng Li,
• Abstract要約: 大規模言語モデルの分散微調整は、プライバシに敏感な環境では難しい。 非IIDデータに基づくLLMのための資源効率の高い分散FPFTフレームワークであるDECAを提案する。 我々は,DECAが高速収束,ダウンストリーム性能,資源効率の大幅な向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 20.24370872176655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) in privacy-sensitive and resource-constrained environments remains challenging. Since training data are often distributed across multiple clients, decentralized fine-tuning offers a natural paradigm for collaborative adaptation without a central server. However, enabling full-parameter fine-tuning (FPFT) in this decentralized setting is difficult: FPFT provides strong adaptation capacity but incurs prohibitive resource consumption for billion-scale models. Existing decentralized LLM fine-tuning methods therefore mainly rely on parameter-efficient updates, which improve efficiency but may restrict downstream performance. Moreover, client data are typically non-IID, making decentralized optimization more vulnerable to client drift and unstable convergence. To address these challenges, we propose DECA, a resource-efficient decentralized FPFT framework for LLMs on non-IID data. DECA partitions model parameters into disjoint blocks and performs sequential block-wise Adam optimization, reducing resource consumption while preserving decentralized full-parameter adaptation. To stabilize training, DECA further introduces first- and second-order block-wise moment estimates with fresh local gradient statistics and consensus-derived discrepancy signals. We provide rigorous theoretical analysis and extensive experiments, showing that DECA achieves fast convergence, strong downstream performance, and significant resource efficiency.
• Abstract（参考訳）: プライバシに敏感でリソースに制約のある環境での微調整大型言語モデル(LLM)は依然として困難である。 トレーニングデータは複数のクライアントに分散することが多いため、分散化された微調整は、中央サーバなしで協調的な適応を行うための自然なパラダイムを提供する。 しかし、この分散環境でフルパラメータ細調整(FPFT)を有効にすることは困難である。 したがって、既存の分散LLM微調整法は主にパラメータ効率の更新に依存しており、効率は向上するが、下流の性能は制限される可能性がある。 さらに、クライアントデータは一般的にIIDではないため、分散最適化はクライアントのドリフトや不安定な収束に対してより脆弱である。 これらの課題に対処するために,資源効率の高い分散FPFTフレームワークであるDECAを提案する。 DECAはモデルのパラメータを不整合ブロックに分割し、逐次ブロックワイドのAdam最適化を実行し、分散フルパラメータ適応を保ちながらリソース消費を削減します。 トレーニングを安定させるために、DECはさらに1階と2階のブロックワイドモーメント推定を導入し、新しい局所勾配統計とコンセンサス由来の離散信号を導入した。 我々は厳密な理論的解析と広範囲な実験を行い、DECAが高速収束、下流性能の強化、資源効率の大幅な向上を実現していることを示す。

関連論文リスト

• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Decentralized Low-Rank Fine-Tuning of Large Language Models [12.270878920401948]
  我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。 BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。 これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
  論文  参考訳（メタデータ） (2025-01-26T01:56:25Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。