Fugu-MT 論文翻訳(概要): Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning

論文の概要: Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning

arxiv url: http://arxiv.org/abs/2609.13512v1
Date: Fri, 11 Sep 2026 20:24:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.37115
Title: Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning
Title（参考訳）: 通信効率の良いLoRAファインチューニングのための適応位相スイッチング
Abstract要約: 本稿では,双方向のB-only Federated LoRAプロトコルに対して,全単位のアップロードとダウンロードのバイト数を計測する。 TinyLlama-1.1B-Chat with Alpacaでは、リバースは0.0063の命令追従損失でFLoRAの40.5%のラウンドトリップの節約を達成した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated fine-tuning of large language models with low-rank adaptation reduces per-client trainable parameters, but client-to-server communication remains the dominant cost. Existing accounting for federated LoRA protocols omits the asymmetric transition round when a protocol changes aggregation mode, and reports savings that ignore grouped-query attention shapes. This paper measures per-round upload and download bytes for a bidirectional B-only federated LoRA protocol and places five methods, three from prior work, on a single communication-quality frontier. The frontier has a knee, which an adaptive phase-switching aggregator, ReverseAdaptive, locates by monitoring the relative improvement in global training loss against a dimensionless threshold rather than by fixing a phase boundary in advance. On TinyLlama-1.1B-Chat with Alpaca, ReverseAdaptive attains 40.5 percent measured round-trip savings over FLoRA at a held-out instruction-following loss cost of 0.0063. It outperforms FFA-LoRA, which freezes the first of the two LoRA factors at initialization, by 0.0182 in held-out loss, more than twenty times the largest per-method seed standard deviation on that metric, so learning that factor before freezing it produces better adapters. The same threshold transfers across model scales without retuning, and the quality cost of the transition is stable across the two datasets tested.
Abstract（参考訳）: 低ランク適応を伴う大規模言語モデルのファインチューニングは、クライアント毎のトレーニング可能なパラメータを減少させるが、クライアント間通信は依然として主要なコストである。フェデレートされたLoRAプロトコルの既存の説明は、プロトコルがアグリゲーションモードを変更するときに非対称な遷移ラウンドを省略し、グループ化されたクエリの注意形状を無視した保存を報告します。本稿では,双方向BのみのフェデレーションLoRAプロトコルに対して,全単位のアップロードとダウンロードのバイト数を計測し,先行作業から3つの手法を1つの通信品質フロンティアに配置する。このフロンティアは、アダプティブ位相スイッチングアグリゲータであるReverseAdaptiveが、事前に位相境界を固定することよりも、次元のない閾値に対するグローバルトレーニング損失の相対的な改善を監視することにより、膝を有する。 TinyLlama-1.1B-Chat with Alpacaでは、ReverseAdaptiveは0.0063の命令追従損失コストでFLoRA上のラウンドトリップの40.5パーセントを達成している。 FFA-LoRAは初期化時に2つのLoRA因子のうち最初の1つを凍結し、0.0182の保留損失で達成し、その測定値における金属単位の種子標準偏差の20倍以上を達成し、凍結前にその因子を学習することでより優れたアダプタを生成する。同じしきい値がモデルスケール間で変更することなく転送され、トランジションの品質コストは、テストされた2つのデータセット間で安定している。

関連論文リスト

FLoKD: Adaptive Knowledge Distillation for Federated Low-Rank LLM over Wireless Networks [28.49324627841803]
フェデレートラーニングは、クライアントデータを共有することなく、大規模な言語モデルの微調整を可能にする。無線ネットワーク上でのLLMのファインチューニングのための適応的知識蒸留フレームワークであるFLoKDを提案する。提案手法は, 通信のオーバーヘッドを50～65%削減すると同時に, ベースラインと比較して, 競争上の難易度に迅速に収束する。
論文参考訳（メタデータ） (2026-09-11T22:37:39Z)
Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文参考訳（メタデータ） (2026-08-10T07:49:10Z)
Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers [0.9668407688201358]
低ランクアダプタ (LoRA) を備えた微調整型ビジョントランス (ViT) は、フェデレートされた設定下での通信効率の向上を約束する。独立に平均化するLoRA因子は数学的に矛盾し、断続的なアグリゲーションエラーをもたらす。層ワイドグローバルランク発見のためのスペクトル変換であるSpecTraLを提案する。
論文参考訳（メタデータ） (2026-07-23T09:07:56Z)
FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文参考訳（メタデータ） (2026-05-28T06:53:46Z)
Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning [6.087223232267447]
LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。 3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
論文参考訳（メタデータ） (2026-05-07T07:01:00Z)
Scalar Federated Learning for Linear Quadratic Regulator [2.2940141855172036]
共通ポリシーのモデルフリー学習のための通信効率の高いフェデレーションアルゴリズムであるScalarFedLQRを提案する。この手法は、各エージェントが局所ゼロ階勾配推定のスカラープロジェクションのみを伝達する分解された勾配メカニズムに基づいて構築される。
論文参考訳（メタデータ） (2026-04-06T18:42:31Z)
Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文参考訳（メタデータ） (2025-05-29T19:59:18Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
論文参考訳（メタデータ） (2024-05-24T13:37:48Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
$\ exttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。