Fugu-MT 論文翻訳(概要): Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA

論文の概要: Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA

arxiv url: http://arxiv.org/abs/2602.00451v1
Date: Sat, 31 Jan 2026 01:57:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-03 19:28:33.190544
Title: Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA
Title（参考訳）: トポロジカルアウェア代替LORAによる分散化ファインチューニングの安定化
Authors: Xiaoyu Wang, Xiaotian Li, Zhixiang Zhou, Chen Li, Yong Liu,
Abstract要約: textttTAD-LoRAは、フェデレーション学習のサーバレス版である。我々は, TextttTAD-LoRA が強い連結トポロジにおいて競合し, 適度かつ弱い連結トポロジの下で明確なゲインをもたらすことを示す。
参考スコア（独自算出の注目度）: 20.00589625873043
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Decentralized federated learning (DFL), a serverless variant of federated learning, poses unique challenges for parameter-efficient fine-tuning due to the factorized structure of low-rank adaptation (LoRA). Unlike linear parameters, decentralized aggregation of LoRA updates introduces topology-dependent cross terms that can destabilize training under dynamic communication graphs. We propose \texttt{TAD-LoRA}, a Topology-Aware Decentralized Low-Rank Adaptation framework that coordinates the updates and mixing of LoRA factors to control inter-client misalignment. We theoretically prove the convergence of \texttt{TAD-LoRA} under non-convex objectives, explicitly characterizing the trade-off between topology-induced cross-term error and block-coordinate representation bias governed by the switching interval of alternative training. Experiments under various communication conditions validate our analysis, showing that \texttt{TAD-LoRA} achieves robust performance across different communication scenarios, remaining competitive in strongly connected topologies and delivering clear gains under moderately and weakly connected topologies, with particularly strong results on the MNLI dataset.
Abstract（参考訳）: 分散フェデレーション学習(DFL)は、フェデレーション学習のサーバーレス版であり、ローランク適応(LoRA)の分解構造のためにパラメータ効率の高い微調整に固有の課題を提起する。線形パラメータとは異なり、LoRA更新の分散アグリゲーションは、トポロジーに依存したクロス項を導入し、動的通信グラフの下でトレーニングを不安定にする。本稿では,LoRA 要素の更新と混合を調整し,クライアント間ミスアライメントを制御するトポロジカル・アウェア・分散化低ランク適応フレームワークである \texttt{TAD-LoRA} を提案する。非凸対象下でのtexttt{TAD-LoRA} の収束を理論的に証明し、トポロジによって引き起こされる断続誤差と、代替訓練の切り換え間隔によって支配されるブロック座標表現バイアスとのトレードオフを明確に特徴づける。様々な通信条件下での実験により, 様々な通信シナリオにおける頑健な性能, 強結合トポロジにおける競争力の維持, 弱結合トポロジ下での明確なゲインの達成, 特にMNLIデータセットにおける強い結果が得られた。

関連論文リスト

Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
論文参考訳（メタデータ） (2026-01-12T05:43:20Z)
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning [20.00589625873043]
ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散的伝搬下でより一貫したパラメータ状態を維持する。実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。
論文参考訳（メタデータ） (2025-11-23T05:09:32Z)
Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning [4.255739817172272]
フェデレートラーニング(FL)は、分散データソース間の協調モデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA) は効率的な微調整法としてFLに導入された。 LoRAに更新されたローカルモデルをサーバに集約する方法は、依然として重要かつ未検討の課題である。
論文参考訳（メタデータ） (2025-08-02T12:54:17Z)
DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models [22.45637113673959]
Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
論文参考訳（メタデータ） (2025-05-27T16:10:53Z)
Decentralized Low-Rank Fine-Tuning of Large Language Models [12.270878920401948]
我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。 BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
論文参考訳（メタデータ） (2025-01-26T01:56:25Z)
Decentralized Federated Learning Over Imperfect Communication Channels [68.08499874460857]
本稿では、分散化フェデレーション学習(D-FL)における不完全なコミュニケーションチャネルの影響を解析する。トレーニングラウンドあたりのローカルアグリゲーションの最適な数を決定し、ネットワークトポロジと不完全なチャネルに適応する。 D-FLは、最適数の局所的なアグリゲーションを持つため、トレーニング精度が10%以上向上する可能性がある。
論文参考訳（メタデータ） (2024-05-21T16:04:32Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
論文参考訳（メタデータ） (2022-06-06T05:12:48Z)
Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文参考訳（メタデータ） (2022-04-07T20:35:37Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。