Fugu-MT 論文翻訳(概要): Subspace-Constrained Federated Learning with Low-Rank Adaptation

論文の概要: Subspace-Constrained Federated Learning with Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2606.22724v1
Date: Sun, 21 Jun 2026 23:49:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 05:05:11.274163
Title: Subspace-Constrained Federated Learning with Low-Rank Adaptation
Title（参考訳）: 低ランク適応によるサブスペース制約付きフェデレーション学習
Authors: Neranjan Senarath, Rohit Muralitharan, Sadia Asif,
Abstract要約: フェデレートされた低ランク適応手法は、通信とプライバシーの制約下での大型モデルの微調整には魅力的である。この部分空間の不整合がLoRAに基づくフェデレーション学習における破壊的な凝集と緩やかな収束をもたらすかどうかを考察する。本稿では,ローカルクライアントの更新をグローバルな参照サブスペースに近い状態に保つための,サブスペース規則化されたフェデレーションLoRAの目的を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated low-rank adaptation methods are attractive for fine-tuning large models under communication and privacy constraints, but heterogeneous client data can induce geometric misalignment between local low-rank updates. We study whether this subspace misalignment leads to destructive aggregation and slower convergence in LoRA-based federated learning. We propose a subspace-regularized federated LoRA objective that encourages local client updates to remain close to a shared global reference subspace. We present a complete empirical evaluation on two pretrained models, RoBERTa-large and SmolLM-360M, over HellaSwag in a non-IID 10-client federated setting, across 3 random seeds (42, 43, 44), yielding 24 total experimental runs (4 methods x 3 seeds x 2 models). On RoBERTa-large, Subspace-Reg achieves the strongest mean best accuracy (0.454 +/- 0.023), mean final accuracy (0.429 +/- 0.011), and lowest final loss (1.363) across all three seeds, outperforming FedAvg, SVD redistribution, and FedSVD baselines by a large margin. On SmolLM-360M, FedAvg leads on accuracy, revealing that accuracy gains are model-dependent. Crucially, Subspace-Reg achieves near-perfect basis overlap, approximately 0.9999, on both models and across all seeds, versus 0.958 to 0.991 for all baselines, providing robust support for the geometric alignment hypothesis. The code is publicly available at https://github.com/sadia-sigma-lab/Subspace-Constrained-Federated-learning-with-Lora.
Abstract（参考訳）: フェデレートされた低ランク適応手法は,通信やプライバシ制約下での大規模モデルの微調整には魅力的だが,不均一なクライアントデータによって局所的な低ランク更新間の幾何的ミスアライメントが引き起こされる可能性がある。この部分空間の不整合がLoRAに基づくフェデレーション学習における破壊的な凝集と緩やかな収束をもたらすかどうかを考察する。本稿では,ローカルクライアントの更新をグローバルな参照サブスペースに近い状態に保つための,サブスペース規則化されたフェデレーションLoRAの目的を提案する。我々は,RoBERTa-largeとSmolLM-360Mの2種類の事前訓練モデルに対して,非IID10サイクルフェデレーションセッティング(42,43,44)の2種類のランダム種子(42,43,44)に対して完全な実験的評価を行い,24回の試験的な実行(4つの方法 x 3 シード x 2 モデル)を得た。 RoBERTa-largeでは、Subspace-Regが最も高い平均精度(0.454 +/- 0.023)、平均最終精度(0.429 +/- 0.011)、最低最終損失(1.363)を達成し、FedAvg、SVD再分配、FedSVDベースラインを大きく上回っている。 SmolLM-360Mでは、FedAvgは精度を導き、精度のゲインがモデル依存であることを明らかにする。重要なことに、Subspace-Regは、ほぼ完全なベースオーバーラップ(約0.9999)を達成するが、すべてのベースラインに対して0.958から0.991は、幾何アライメント仮説の堅牢な支持を提供する。コードはhttps://github.com/sadia-sigma-lab/Subspace-Constrained-Federated-learning-with-Loraで公開されている。

関連論文リスト

Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。 10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。 LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
論文参考訳（メタデータ） (2026-05-23T16:57:25Z)
Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文参考訳（メタデータ） (2026-05-20T19:08:38Z)
When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity [0.0]
フェデレートラーニング(FL)は、分散プライベートデータに基づく基礎モデル(FM)の微調整に益々使われている。低ランク適応 (LoRA) を用いたTextCNN (2.7Mパラメータ) と DistilBERT の比較を行った。極端なラベルスキュー (alpha = 0.1) の下では、DistilBERT+LoRAは、25倍のパラメータと広範囲な事前訓練があるにもかかわらず、TextCNNの32.2%のギャップよりも50.1% -- 56%大きい最悪の精度ギャップを生じる。
論文参考訳（メタデータ） (2026-05-09T15:22:08Z)
Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning [6.087223232267447]
LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。 3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
論文参考訳（メタデータ） (2026-05-07T07:01:00Z)
Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文参考訳（メタデータ） (2026-03-08T00:31:34Z)
Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
論文参考訳（メタデータ） (2026-02-23T15:05:28Z)
Perfectly-Private Analog Secure Aggregation in Federated Learning [51.61616734974475]
連合学習では、複数のパーティがモデルをローカルにトレーニングし、パラメータを中央サーバと共有する。本稿では,有限場ではなくトーラスを用いた新しいセキュアパラメータアグリゲーション法を提案する。
論文参考訳（メタデータ） (2025-09-10T15:22:40Z)
Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文参考訳（メタデータ） (2024-05-29T10:56:13Z)
$\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。