論文の概要: DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data
- arxiv url: http://arxiv.org/abs/2606.03209v1
- Date: Tue, 02 Jun 2026 06:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.798334
- Title: DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data
- Title（参考訳）: DECA:非IIDデータを用いた高効率LLMフルパラメータ微調整のためのブロック幅アダムの分散化
- Abstract要約: 大規模言語モデルの分散微調整は、プライバシに敏感な環境では難しい。
非IIDデータに基づくLLMのための資源効率の高い分散FPFTフレームワークであるDECAを提案する。
我々は,DECAが高速収束,ダウンストリーム性能,資源効率の大幅な向上を実現していることを示す。
- 参考スコア（独自算出の注目度）: 20.24370872176655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning large language models (LLMs) in privacy-sensitive and resource-constrained environments remains challenging. Since training data are often distributed across multiple clients, decentralized fine-tuning offers a natural paradigm for collaborative adaptation without a central server. However, enabling full-parameter fine-tuning (FPFT) in this decentralized setting is difficult: FPFT provides strong adaptation capacity but incurs prohibitive resource consumption for billion-scale models. Existing decentralized LLM fine-tuning methods therefore mainly rely on parameter-efficient updates, which improve efficiency but may restrict downstream performance. Moreover, client data are typically non-IID, making decentralized optimization more vulnerable to client drift and unstable convergence. To address these challenges, we propose DECA, a resource-efficient decentralized FPFT framework for LLMs on non-IID data. DECA partitions model parameters into disjoint blocks and performs sequential block-wise Adam optimization, reducing resource consumption while preserving decentralized full-parameter adaptation. To stabilize training, DECA further introduces first- and second-order block-wise moment estimates with fresh local gradient statistics and consensus-derived discrepancy signals. We provide rigorous theoretical analysis and extensive experiments, showing that DECA achieves fast convergence, strong downstream performance, and significant resource efficiency.
- Abstract（参考訳）: プライバシに敏感でリソースに制約のある環境での微調整大型言語モデル(LLM)は依然として困難である。
トレーニングデータは複数のクライアントに分散することが多いため、分散化された微調整は、中央サーバなしで協調的な適応を行うための自然なパラダイムを提供する。
しかし、この分散環境でフルパラメータ細調整(FPFT)を有効にすることは困難である。
したがって、既存の分散LLM微調整法は主にパラメータ効率の更新に依存しており、効率は向上するが、下流の性能は制限される可能性がある。
さらに、クライアントデータは一般的にIIDではないため、分散最適化はクライアントのドリフトや不安定な収束に対してより脆弱である。
これらの課題に対処するために,資源効率の高い分散FPFTフレームワークであるDECAを提案する。
DECAはモデルのパラメータを不整合ブロックに分割し、逐次ブロックワイドのAdam最適化を実行し、分散フルパラメータ適応を保ちながらリソース消費を削減します。
トレーニングを安定させるために、DECはさらに1階と2階のブロックワイドモーメント推定を導入し、新しい局所勾配統計とコンセンサス由来の離散信号を導入した。
我々は厳密な理論的解析と広範囲な実験を行い、DECAが高速収束、下流性能の強化、資源効率の大幅な向上を実現していることを示す。
関連論文リスト
- DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity [77.51981761667302]
二次正規化二段階分散最適化 (DUET) と呼ばれる新しい単一ループDBOアルゴリズムを導入する。
DUETは、低レベル(LL)の目的に2次正規化を減少させることにより、LLSCの必要性を排除する。
我々の知る限りでは、データを不均一に分散した設定の下でLLSCなしでDBOに取り組むのは、これが初めてです。
論文 参考訳（メタデータ） (2026-06-19T06:45:13Z) - AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments [7.335282879368365]
大規模言語モデル(LLM)は、自律運転、産業検査、パーソナライズされたIoTサービスなど、さまざまなシナリオに広くデプロイされている。
異種エッジ環境に適したLLMのための非同期フェデレーションファインチューニングフレームワークであるAlignFedを提案する。
論文 参考訳（メタデータ） (2026-06-06T14:28:36Z) - FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。
パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。
複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
論文 参考訳（メタデータ） (2026-03-20T08:24:49Z) - FedZMG: Efficient Client-Side Optimization in Federated Learning [0.19116784879310023]
Federated Zero Mean Gradients (FedZMG) はパラメータフリーのクライアントサイド最適化アルゴリズムである。
FedZMGは局所勾配をゼロ平均超平面に投影し、不均一なデータ分布に固有の「強度」あるいは「バイアス」シフトを効果的に中和する。
論文 参考訳（メタデータ） (2026-02-20T17:45:28Z) - Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。
実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。
FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文 参考訳（メタデータ） (2026-02-01T05:54:59Z) - AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。
大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
論文 参考訳（メタデータ） (2025-05-30T16:35:32Z) - Decentralized Low-Rank Fine-Tuning of Large Language Models [12.270878920401948]
我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。
BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。
これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
論文 参考訳（メタデータ） (2025-01-26T01:56:25Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。