論文の概要: FedGSA: Geometry-Consistent Subspace Aggregation for Differentially Private Federated LoRA

• arxiv url: http://arxiv.org/abs/2608.03267v1
• Date: Tue, 04 Aug 2026 07:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 07:04:20.704948
• Title: FedGSA: Geometry-Consistent Subspace Aggregation for Differentially Private Federated LoRA
• Title（参考訳）: FedGSA: 異なる私的フェデレーションLORAのためのジオメトリ一貫性サブスペースアグリゲーション
• Abstract要約: 微分プライベートなLoRAのための幾何整合アグリゲーションフレームワークを提案する。 FedGSAは、各プライベート化されたクライアント更新を、グラスマン多様体上の基底不変部分空間として表現している。 我々は、FedGSAがクライアント側のDPトレーニング以上のプライバシーを損なうことなく、標準的前提の下でその収束を確立することを証明した。
• 参考スコア（独自算出の注目度）: 15.652808783124835
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables communication-efficient federated fine-tuning of pretrained language models. However, integrating differential privacy (DP) into federated LoRA remains challenging: independently perturbing and aggregating its two low-rank matrices can cause aggregation mismatch and the quadratic noise term. Existing methods mitigate these issues by freezing one low-rank matrix but still rely on Euclidean aggregation, which is basis-dependent and may distort the global update. To address this limitation, we propose FedGSA, a geometry-consistent aggregation framework for differentially private federated LoRA. FedGSA represents each privatized client update as a basis-invariant subspace on the Grassmann manifold. In each communication round, clients extract low-dimensional subspaces capturing dominant update directions and encode them as projection matrices. The server aggregates these representations to estimate a geometry-consistent global update subspace and reconstructs the global LoRA factors within it, reducing distortion caused by basis misalignment, privacy noise, and heterogeneous client updates. We prove that FedGSA incurs no additional privacy loss beyond client-side DP training and establish its convergence under standard assumptions. Experiments on four GLUE tasks and a language generation benchmark demonstrate consistent improvements across privacy budgets and degrees of data heterogeneity. In particular, FedGSA improves average accuracy over the strongest baseline by 2.17% and 2.27% under $ε=6$ and $ε=3$, respectively.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、事前訓練された言語モデルのコミュニケーション効率の高いフェデレーションによる微調整を可能にする。 しかし、差分プライバシ(DP)をフェデレートされたLoRAに統合することは依然として困難であり、2つの低ランク行列を独立に摂動・集約することは、アグリゲーションミスマッチと二次ノイズ項を引き起こす可能性がある。 既存の手法は、これらの問題を1つの低ランク行列を凍結することで緩和するが、依然としてユークリッドの集約に依存している。 この制限に対処するため,FedGSAを提案する。 FedGSAは、各プライベート化されたクライアント更新を、グラスマン多様体上の基底不変部分空間として表現している。 各通信ラウンドでは、クライアントが支配的な更新方向を捉えた低次元部分空間を抽出し、プロジェクション行列としてエンコードする。 サーバはこれらの表現を集約して、ジオメトリ一貫性のあるグローバルな更新部分空間を推定し、その内部のグローバルなLoRA要素を再構築する。 我々は、FedGSAがクライアント側のDPトレーニング以上のプライバシーを損なうことなく、標準的前提の下でその収束を確立することを証明した。 4つのGLUEタスクと言語生成ベンチマークの実験では、プライバシ予算とデータの均一性に関する一貫した改善が示されている。 特に、FedGSAは、それぞれ$ε=6$と$ε=3$の平均精度を2.17%、$2.27%改善している。

関連論文リスト

• Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
  FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。 フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。 Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
  論文  参考訳（メタデータ） (2026-09-02T07:57:12Z)
• Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
  FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。 適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-01T03:09:20Z)
• FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA [3.3855343208256556]
  Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。 我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-08-15T19:20:31Z)
• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• UMEDA: Unified Multi-modal Efficient Data Fusion for Privacy-Preserving Graph Federated Learning via Spectral-Gated Attention and Diffusion-Based Operator Alignment [20.399005485708273]
  デバイスフリーのローカライゼーションは、エッジデバイスに分散した異種無線および視覚センサーからモデルを訓練する。 クライアントが連続的な積分演算子を共有するグローバルグラフのノードを形成するグラフフェデレーション学習フレームワークであるUMEDAを提案する。 UMEDAは、最先端のフェデレーションベースラインを精度、収束性、通信効率で上回る。
  論文  参考訳（メタデータ） (2026-05-08T08:15:47Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
  Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。 実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。 我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T03:18:32Z)
• On the Geometric Coherence of Global Aggregation in Federated GNN [0.0]
  フェデレートラーニング(FL)は、集中的なデータ共有なしに、複数のクライアント間で分散トレーニングを可能にする。 グラフニューラルネットワーク(GNN)は、メッセージパッシングを通じて関係データをモデル化する。 フェデレートされたGNN設定では、クライアントグラフは不均一な構造と伝搬特性を示すことが多い。 本研究は,クロスドメインフェデレーションGNNにおけるグローバルアグリゲーションの幾何学的障害モードを特定する。 本稿では,サーバサイドのフレームワークであるGGRSを提案する。
  論文  参考訳（メタデータ） (2026-02-17T11:34:04Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。