Fugu-MT 論文翻訳(概要): FraQ: Efficient Coordinate-Space Recompression for Federated Low-Rank Adaptation

論文の概要: FraQ: Efficient Coordinate-Space Recompression for Federated Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2608.03605v1
Date: Tue, 04 Aug 2026 12:57:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:23.195233
Title: FraQ: Efficient Coordinate-Space Recompression for Federated Low-Rank Adaptation
Title（参考訳）: FraQ:Federated Low-Rank Adaptationのための効率的なコーディネート空間圧縮
Abstract要約: Low-Rank Adaptation (LoRA) によるFederated Fine-tuningは、プライベートデータを集中化せずに、Large Language Models (LLM) の効率的な協調的適応を可能にする。 LoRAの2要素パラメータ化は、クライアント間でのアグリゲーションミスマッチを生成する。フェデレートされたLoRAの効率的な座標空間再圧縮法であるFraQを提案する。
参考スコア（独自算出の注目度）: 1.5006323636551544
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated fine-tuning with Low-Rank Adaptation (LoRA) enables efficient collaborative adaptation of Large Language Models (LLMs) without centralizing private data. However, LoRA's two-factor parameterization creates an aggregation mismatch across clients: naively averaging the factors does not recover the average of their induced updates. This mismatch can be avoided by forming the exact aggregate in the full weight space and then recompressing it, but decomposing the resulting dense matrix is computationally expensive and memory-intensive. We propose FraQ, an efficient coordinate-space recompression method for federated LoRA. Starting from stacked factors that exactly represent the aggregate, FraQ factorizes it into an orthonormal basis and a compact coordinate matrix. It then recovers the singular spectrum from a small Gram matrix, selects the smallest rank satisfying a prescribed energy threshold, and maps the selected coordinate subspace back through the basis to construct the global adapter. Experiments on text classification and commonsense reasoning benchmarks show that FraQ achieves accuracy close to uncompressed baselines while substantially reducing downlink communication with low server-side recompression overhead.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) によるFederated Fine-tuningは、プライベートデータを集中化せずに、Large Language Models (LLM) の効率的な協調的適応を可能にする。しかし、LoRAの2要素パラメータ化は、クライアント間での集約ミスマッチを生成する。このミスマッチは、全重み空間に正確な集合を形成して再圧縮することで回避できるが、結果として生じる密度行列を分解することは計算コストが高く、メモリ集約的である。フェデレートされたLoRAの効率的な座標空間再圧縮法であるFraQを提案する。集合を正確に表現する積み重ねされた因子から始めて、FraQはそれを正規直交基底とコンパクト座標行列に分解する。その後、小さなグラム行列から特異スペクトルを復元し、所定のエネルギー閾値を満たす最小ランクを選択し、選択された座標部分空間を基底を通してマッピングし、グローバルアダプタを構築する。テキスト分類とコモンセンス推論ベンチマークの実験により、FraQは非圧縮ベースラインに近い精度を達成し、サーバ側再圧縮オーバーヘッドの少ないダウンリンク通信を大幅に削減した。

関連論文リスト

SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks [15.20977008792474]
SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。 SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
論文参考訳（メタデータ） (2026-08-10T18:59:25Z)
Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning [29.371418314402565]
異種クライアントはアダプタアグリゲーションを不安定にできるクライアント固有のLoRAサブスペースを割り当てる動的サブスペースブースティング(Dysco)を提案する。ディスコは干渉を著しく減らし、最終ラウンドの合成訓練損失を最大9倍に削減する。
論文参考訳（メタデータ） (2026-07-15T21:15:35Z)
UniRank: Unified Rank Allocation for Low-Rank LLM Compression [9.742379971053806]
グローバルな低ランク割当をソート・アンド・トランケーションパイプラインとして定式化する。高い入力出力コサイン類似度と低い有効ランクとの強い相関性を検証する。本稿では,分解重みに対して直接LoRAチューニングを行うランク保存ファインチューニングを提案する。
論文参考訳（メタデータ） (2026-06-20T03:10:33Z)
PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity [34.1917590132869]
LoRAのようなパラメータ効率のよい手法を用いた大規模言語モデルのファインタニングにより、基礎モデルのプライバシ保護が実現される。既存の手法では、情報をランク次元に分散する方法を制御できないため、共有低ランク表現を最適に使用することができる。 PreLort: アダプター次元をプレフィックス階層に整理するフェデレートLoRAのネスト型低ランク定式化を提案する。
論文参考訳（メタデータ） (2026-06-14T18:44:47Z)
Shift-Dependent Asymmetry: Orthogonal Inverse Low-Rank Adaptation for Federated Medical Segmentation [60.41721951405564]
Low-Rank Adaptation (LoRA)は、医療画像のためのセグメンテーション基盤モデルの効率的なフェデレーション微調整を可能にする。ほとんどの連合LoRA法は、医学的セグメンテーションにおいてエンコーダ-デコーダ非対称性の下で破れる一様アグリゲーション規則を採用している。このミスマッチの絡み合いは、サイト固有のバイアスと解剖を共有し、一般化を損なう。本稿では,効率的な更新空間における共有局所コリニアリティを罰する部分空間直交正規化器を提案する。
論文参考訳（メタデータ） (2026-06-07T15:39:28Z)
FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文参考訳（メタデータ） (2026-05-28T06:53:46Z)
SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
論文参考訳（メタデータ） (2026-05-20T13:19:28Z)
Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-03-27T11:34:41Z)
FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment [19.973768722251393]
ファインチューニングのための単一の低ランク行列を用いたファインチューニングフレームワークであるFLoRGを提案する。 FLoRGは、下流タスクの精度で5つの最先端ベースラインスキームを上回り、通信オーバーヘッドを最大2041$times$に削減できることを示す。
論文参考訳（メタデータ） (2026-02-19T05:35:23Z)
FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models [2.555222031881788]
FLoRISTは、高い通信や計算オーバーヘッドを発生させることなく、数学的に正確なアグリゲーションを実現するファインチューニングフレームワークである。サーバ側最適ランク選択のための可変特異値しきい値を導入し、全クライアントが共有するグローバルローランクアダプタのペアを構築する。
論文参考訳（メタデータ） (2025-06-10T19:36:36Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。