論文の概要: FedSubMuon: Communication-Efficient Federated LLM Fine-Tuning via Structured Subspace Muon
- arxiv url: http://arxiv.org/abs/2609.06073v1
- Date: Sat, 05 Sep 2026 13:07:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.190245
- Title: FedSubMuon: Communication-Efficient Federated LLM Fine-Tuning via Structured Subspace Muon
- Title（参考訳）: FedSubMuon: 構造化サブスペースミューオンによるコミュニケーション効率の良いLLMファインチューニング
- Abstract要約: フェデレートされた微調整は、大規模な言語モデルを分散クライアントデータに適用する。
FedSubMuonは通信効率の高いフェデレーションムーン微調整法である。
FedSubMuon-GTは、5つのデータセットモデルペアのうち4つにおいて、最高の全体的な精度を達成する。
- 参考スコア（独自算出の注目度）: 16.13015168730684
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated fine-tuning adapts large language models (LLMs) to decentralized client data, but its scalability in cross-device training is often limited by the high communication cost. Muon is an optimizer that improves optimization performance by orthogonalizing momentum for matrix-valued parameters. Existing federated Muon methods demonstrate the benefit of matrix-aware optimization in federated learning, but still require transmitting full layer-size updates and optimizer state. A natural way to reduce communication is to directly apply Muon to LoRA factors, but this changes the optimized object and weakens Muon's matrix-aware update geometry. We propose FedSubMuon, a communication-efficient federated Muon fine-tuning method that optimizes compact coefficient matrices within shared structured subspaces. This design keeps Muon on a single matrix-valued trainable object, while reducing the client upload to compact coefficient matrices. We further introduce FedSubMuon-GT, an accuracy-oriented extension that uses projected gradients to adapt tracked subspace bases toward task-relevant gradient directions. Experiments on instruction tuning and mathematical reasoning show that FedSubMuon-GT achieves the best overall accuracy on four of five dataset-model pairs, while FedSubMuon performs best under all matched communication budgets. On Dolly-15K, the closest communication baseline requires 5.5 times and 1.4 times more total communication on Llama-1B and Qwen-4B, respectively.
- Abstract（参考訳）: フェデレートされた微調整は、大規模言語モデル(LLM)を分散クライアントデータに適用するが、デバイス間のトレーニングにおけるスケーラビリティは、通信コストの高さによって制限されることが多い。
Muon は行列値パラメータの直交運動量により最適化性能を向上させる最適化器である。
既存のフェデレーションMuonメソッドは、フェデレーション学習における行列対応最適化の利点を示しているが、それでも完全なレイヤサイズ更新とオプティマイザ状態の送信が必要である。
コミュニケーションを減らす自然な方法は、MuonをLoRA因子に直接適用することであるが、最適化されたオブジェクトを変更し、Muonの行列対応更新幾何を弱める。
共有構造部分空間内のコンパクトな係数行列を最適化する通信効率の高いフェデレーションムーン微調整法であるFedSubMuonを提案する。
この設計は、Muonを単一の行列値のトレーニング可能なオブジェクトに保持し、クライアントのアップロードをコンパクトな係数行列に削減する。
さらにFedSubMuon-GTを導入する。これは、プロジェクテッド勾配を用いて、タスク関連勾配方向にトラックされたサブスペースベースを適応させる精度指向拡張である。
インストラクションチューニングと数学的推論の実験から,FedSubMuon-GTは5組のデータセットモデルペアのうち4組で最高の総合的精度を達成し,FedSubMuonは一致した全ての通信予算で最高の性能を発揮することが示された。
Dolly-15Kでは、最寄りの通信ベースラインはLlama-1BとQwen-4Bでそれぞれ5.5倍と1.4倍の通信を必要とする。
関連論文リスト
- Federated Compositional Muon Optimizer for Matrix-Wise Models [12.397558747278305]
本研究では,分散行列式構成問題の解法として,効率的な構成ムオン(FedCoMuon)を提案する。
提案手法は,既存の構成ベースラインと競合し,複数の設定で最高の精度が得られることを示す。
論文 参考訳（メタデータ） (2026-08-13T01:46:26Z) - DMuon: Efficient Distributed Muon Training with Near-Adam Overhead [13.192517400076746]
DMuonはオープンソースの分散Muon実装で、既存のトレーニングパイプラインをドロップインモジュールとして統合します。
DMuonは、エンドツーエンドのステップタイムで1.48x-3.01xのスピードアップ、ステップタイムで6.85x-163.00xのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-25T15:23:03Z) - FedMuon: Accelerating Federated Learning with Matrix Orthogonalization [27.47081354557656]
フェデレートラーニング(FL)の中核的なボトルネックは、コミュニケーションラウンドにあります。
既存のFL法は主に元素の局所性(Adam/SGD)を用いており、重量行列の幾何学的構造を無視している。
本稿では,2つの重要な手法を取り入れた新しいフェデレート・ムーン(FedMuon)を提案する。
論文 参考訳（メタデータ） (2025-10-31T11:41:16Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients [11.102441622530181]
メモリ効率の高いフェデレーションファインチューニングフレームワークであるFed-pilotを提案する。
メモリ制約のあるクライアントは、LoRAモジュールのサブセットのみをローカルにトレーニングすることで、ローランド適応(LoRA)ベースの微調整に参加することができる。
我々の知る限りでは、メモリ制約最適化を統合したFMのファインチューニングに関する最初の研究である。
論文 参考訳（メタデータ） (2024-10-14T06:36:41Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。