論文の概要: Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers

• arxiv url: http://arxiv.org/abs/2607.21074v1
• Date: Thu, 23 Jul 2026 09:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.342435
• Title: Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers
• Title（参考訳）: 視覚変換器用フェデレーションLORAにおける層次グローバルランク発見のためのスペクトル変換
• Abstract要約: 低ランクアダプタ (LoRA) を備えた微調整型ビジョントランス (ViT) は、フェデレートされた設定下での通信効率の向上を約束する。 独立に平均化するLoRA因子は数学的に矛盾し、断続的なアグリゲーションエラーをもたらす。 層ワイドグローバルランク発見のためのスペクトル変換であるSpecTraLを提案する。
• 参考スコア（独自算出の注目度）: 0.9668407688201358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Vision Transformers (ViTs) with low-rank adapters (LoRA) promises better communication efficiency under federated setup, yet existing aggregation strategies face fundamental limitations. Independently averaging these LoRA factors is mathematically inconsistent, introducing cross-term aggregation error. In contrast, approaches that preserve heterogeneous client ranks by concatenating local adapters on the server substantially increase download cost and often require merging global LoRA updates into pretrained weights on the clients, causing reinitialization lag and unstable convergence. Other approaches further increase server-side overhead by reconstructing dense weight updates or training auxiliary models to refine aggregation error. In this work, we propose SpecTraL, spectral transformation for layer-wise global rank discovery, that resolves these challenges within a unified design. SpecTraL stacks local LoRA modules from clients and performs orthonormal Householder Transformation of the stacked adapters directly in the low-rank latent space, eliminating dense reconstruction of the global update and any auxiliary refinement on the server. By leveraging the Spiked Covariance Model from Random Matrix Theory, SpecTraL analytically separates the global consensus signal from non-IID noise, discovering optimal layer-wise global ranks without manual hyperparameter tuning. To match local ranks in subsequent rounds, we introduce a padding-aware initialization framework that lets clients incorporate residual LoRA dimensions without re-merging them into the pre-trained base model. Experiments on federated fine-tuning of ViT-B/16 and ViT-L/16 over DomainNet and NICO++ demonstrate improved accuracy-communication trade-offs, reduced server computation, and elimination of hyperparameter search for rank selection. Our code is available at https://github.com/DASS-Lab-Group/SpecTraL
• Abstract（参考訳）: 低ランクアダプタ(LoRA)を備えた微調整型ビジョントランスフォーマー(ViT)は、フェデレートされたセットアップ下での通信効率を向上するが、既存のアグリゲーション戦略は基本的な制限に直面している。 独立にこれらのLoRA因子を平均化することは数学的に矛盾し、断続的なアグリゲーションエラーをもたらす。 対照的に、サーバ上でローカルアダプタを連結することでクライアントのランクを均一に保つアプローチは、ダウンロードコストを大幅に増加させ、クライアント上で事前トレーニングされた重み付けにグローバルなLoRA更新をマージする必要がしばしばあり、再初期化遅延と不安定な収束を引き起こす。 他のアプローチでは、重み付けの更新を再構築したり、アグリゲーションエラーを洗練させるために補助モデルを訓練することで、サーバ側のオーバーヘッドをさらに増大させる。 本研究では,レイヤワイドグローバルランク発見のためのスペクトル変換であるSpecTraLを提案し,これらの課題を統一設計で解決する。 SpecTraLはクライアントからローカルのLoRAモジュールをスタックし、ローランクの遅延空間で直接スタックされたアダプタの正規正規のリザーバー変換を実行する。 ランダム行列理論からスパイクされた共分散モデルを利用することで、SpecTraLは、大域的コンセンサス信号を非IIDノイズから解析的に分離し、手動のハイパーパラメータチューニングなしで最適な階層的グローバルランクを発見する。 その後のラウンドにおいて、局所的なランクに合わせるために、クライアントがトレーニング済みのベースモデルに再統合することなく、残留するLoRA次元を組み込むことができるパディング対応初期化フレームワークを導入する。 DomainNet と NICO++ による ViT-B/16 と ViT-L/16 の連携による微調整実験により,高精度通信トレードオフの改善,サーバ計算の削減,ランク選択のためのハイパーパラメータ探索の排除が示された。 私たちのコードはhttps://github.com/DASS-Lab-Group/SpecTraLで利用可能です。

関連論文リスト

• Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning [29.371418314402565]
  異種クライアントは アダプタアグリゲーションを不安定にできる クライアント固有のLoRAサブスペースを割り当てる動的サブスペースブースティング(Dysco)を提案する。 ディスコは干渉を著しく減らし、最終ラウンドの合成訓練損失を最大9倍に削減する。
  論文  参考訳（メタデータ） (2026-07-15T21:15:35Z)
• Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。 既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。 我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:28:48Z)
• FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。 我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-28T06:53:46Z)
• Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA [21.610540680175294]
  フェデレートされたLoRAは、分散データの下で大きな言語モデルのパラメータ効率の良い適応を可能にする。 LoRA因子の直接平均化は表現依存である。 We propose textbfGLoRA, a gauge-aware server representation for Federated LoRA。
  論文  参考訳（メタデータ） (2026-05-07T12:57:24Z)
• Improving Recursive Transformers with Mixture of LoRAs [2.672804414228544]
  共有フィードフォワードネットワーク(FFN)内にLoRA(Lo-Rank Adaptation)の専門家を挿入するLoRA(MoL)の混合 MoLは、バックボーンパラメータをアンタイズすることなく共有FFNのトークン条件の重み空間変調を可能にする。 ModernALBERTは、コンパクトモデル間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T23:39:30Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。