Fugu-MT 論文翻訳(概要): RW-LoRA: Communication-Efficient Decentralized LoRA Fine-Tuning via Random Walks

論文の概要: RW-LoRA: Communication-Efficient Decentralized LoRA Fine-Tuning via Random Walks

arxiv url: http://arxiv.org/abs/2609.00078v1
Date: Mon, 31 Aug 2026 08:24:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:35.839232
Title: RW-LoRA: Communication-Efficient Decentralized LoRA Fine-Tuning via Random Walks
Title（参考訳）: RW-LoRA:ランダムウォークによる通信効率の良い分散LoRAファインチューニング
Abstract要約: LoRAのような微調整の計算手法は、大規模な基礎モデルに適応するための標準的なアプローチとなっている。既存の分散LoRAメソッドの多くは集中集約に依存しており、Gossipベースの分散LoRAは複数のモデルコピー間で繰り返し同期を必要とする。本稿では,複数のモデル複製を維持する代わりに,ネットワークを横断する単一モデルトークンを逐次更新するランダムなLoRAファインタニング方式を提案する。
参考スコア（独自算出の注目度）: 20.21667584370137
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-efficient fine-tuning methods such as LoRA have become a standard approach for adapting large foundation models. Adopting fine-tuning to distributed settings faces several challenges. Most existing distributed LoRA methods rely on centralized aggregation, and gossip-based decentralized LoRA requires repeated synchronization among multiple model copies. Both methods incur significant communication overhead and introduce errors due to simultaneous aggregation of multiple model updates. In this paper, we take a different perspective and propose a random-walk-based LoRA fine-tuning scheme. Instead of maintaining multiple model replicas, a single model token traverses the network and is updated sequentially using local fine-tuning objectives. This design eliminates the need for global synchronization, substantially reduces communication and computation costs, and avoids aggregation errors. We provide rigorous convergence guarantees for non-convex objectives under standard assumptions. Through empirical results on multiple NLP tasks and graph topologies, we show that the proposed method achieves competitive task performance with substantially less communication and computation than gossip-based LoRA.
Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整法は、大規模な基礎モデルに適応するための標準的なアプローチとなっている。微調整を分散設定に適用することは、いくつかの課題に直面している。既存の分散LoRAメソッドの多くは集中集約に依存しており、Gossipベースの分散LoRAは複数のモデルコピー間で繰り返し同期を必要とする。どちらの手法も大きな通信オーバーヘッドを発生させ、複数のモデル更新の同時集約によるエラーを発生させる。本稿では,異なる視点を採り,ランダムウォークに基づくLoRAファインチューニング手法を提案する。複数のモデルのレプリカを維持する代わりに、単一のモデルトークンがネットワークを横切り、局所的な微調整の目的を使って順次更新される。この設計は、グローバル同期の必要性を排除し、通信と計算コストを大幅に削減し、集約エラーを回避する。標準仮定の下では、非凸目的に対して厳密な収束保証を提供する。提案手法は,複数のNLPタスクとグラフトポロジに関する実験結果から,ゴシップベースのLoRAよりも通信処理や計算処理が大幅に少ない競合タスク性能を実現することを示す。

関連論文リスト

Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
論文参考訳（メタデータ） (2026-06-04T13:28:48Z)
FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文参考訳（メタデータ） (2026-06-01T06:58:15Z)
FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
論文参考訳（メタデータ） (2026-02-27T03:18:32Z)
Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
論文参考訳（メタデータ） (2026-02-24T02:45:32Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models [50.46815266062554]
Low-Rank Adaptation (LoRA) は、タスク固有のデータと長い最適化の要求のため、実用的ではない。高速モデル適応のためのパーソナライズされた事前情報を効率的に予測する汎用フレームワークであるLoFAを提案する。提案手法は,複数のタスクやユーザプロンプトにまたがる,数秒以内の高品質なパーソナライズ前処理を常に予測し,処理時間を要する従来のLoRAよりも優れています。
論文参考訳（メタデータ） (2025-12-09T16:39:31Z)
AsymLoRA: Harmonizing Data Conflicts and Commonalities in MLLMs [5.018961516699825]
AsymLoRAは、知識のモジュール化と相互調整を統一するパラメータ効率のチューニングフレームワークである。 AsymLoRAは、共通点のみを捉えたバニラLoRAと、紛争のみに焦点を当てたLoRA-MoEの両方を一貫して上回っている。
論文参考訳（メタデータ） (2025-02-27T12:21:02Z)
LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2024-11-22T14:19:01Z)
FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
論文参考訳（メタデータ） (2024-10-12T08:22:44Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
論文参考訳（メタデータ） (2024-05-23T11:10:32Z)
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
論文参考訳（メタデータ） (2023-10-12T18:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。