論文の概要: Three-Pronged Spectral Control for Federated Parameter Efficient Fine Tuning

• arxiv url: http://arxiv.org/abs/2607.20914v1
• Date: Thu, 23 Jul 2026 04:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.288551
• Title: Three-Pronged Spectral Control for Federated Parameter Efficient Fine Tuning
• Title（参考訳）: フェデレーションパラメータ効率の良い微調整のための3重スペクトル制御
• Abstract要約: TRISHULは、堅牢なフェデレーションPEFTのためのスペクトル制御フレームワークである。 これはFLデータ共有設定に従うが、それ自体が正式なプライバシー保証を提供するわけではない。 フェデレートされたLoRAベースラインよりも収束、安定性、最終的なパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 7.755952722462926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated parameter-efficient fine-tuning (PEFT) enables communication-efficient adaptation of large pretrained models on decentralized edge data, but it remains fragile under non-IID client heterogeneity. In low-rank adaptation (LoRA), different clients may learn locally useful but spectrally misaligned update subspaces, causing high-variance aggregation and poor global transfer. We propose TRISHUL, a spectral-control framework for robust federated PEFT. TRISHUL follows the FL no-raw-data-sharing setting but does not itself provide formal privacy guarantees. TRISHUL uses shared frozen multi-head low-rank bases to obtain algebraically exact aggregation of compact core updates, applies nuclear norm proximal shrinkage to suppress client-specific high-rank spectral components before upload, and allocates adaptation heads non-uniformly across layers using a concave water filling budget rule derived from pretrained layer capacity. Because shrinkage is performed only on small core matrices, TRISHUL adds negligible computation and no extra per-round communication over the underlying multi-head PEFT protocol. Across vision and language benchmarks, including CIFAR-100, SVHN, 20 Newsgroups, MRQA, and GLUE with LLaMA3.2-1B, TRISHUL improves convergence, stability, and final performance over federated LoRA baselines, with greater gains under stronger heterogeneity.
• Abstract（参考訳）: Federated parameter- efficient fine-tuning (PEFT) は、分散エッジデータ上で大きな事前訓練されたモデルの通信効率の適応を可能にするが、非IIDクライアントの不均一性の下では脆弱である。 低ランク適応(LoRA)では、異なるクライアントは局所的に有用だがスペクトル的に不一致な更新部分空間を学習し、高分散集約と低グローバル転送を引き起こす。 我々は、堅牢なフェデレーションPEFTのためのスペクトル制御フレームワークTRISHULを提案する。 TRISHUL は FL no-raw-data- Share 設定に従っているが、それ自体が正式なプライバシ保証を提供していない。 TRISHULは、共有冷凍マルチヘッド低ランクベースを使用して、コンパクトコア更新の代数的に正確な集約を取得し、アップロード前にクライアント固有の高階スペクトル成分を抑えるために核ノルム近位収縮を適用し、事前制約された層容量から導かれる凹面水充填予算ルールを用いて、層全体に不均一に適応ヘッドを割り当てる。 縮小は小さなコア行列でのみ実行されるため、TRISHULは無視可能な計算を追加し、基礎となるマルチヘッドPEFTプロトコル上でのラウンド間通信は不要である。 CIFAR-100、SVHN、20のニュースグループ、MRQA、GLUEとLLaMA3.2-1Bを含むビジョンと言語ベンチマークを通じて、TRISHULは連合LoRAベースラインよりも収束、安定性、最終的なパフォーマンスを改善し、より強力なヘテロジニティを達成している。

関連論文リスト

• Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients [22.724544289853558]
  FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2026-07-31T06:45:56Z)
• Point Ladder Tuning: Parameter-Efficient Hierarchical Adaptation for 3D Point Cloud Understanding [4.750456629699177]
  Point Ladder Tuning (PLT)はPEFTフレームワークで、バックボーンの凍結を維持しながら階層的なインスタンス条件適応を実行する。 密集予測のために,融合した特徴を徐々にアップサンプリングする軽量セグメンテーションヘッドを導入する。 分類と密集予測の実験は、最小限のパラメータを持つ以前のPEFTベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-21T15:06:37Z)
• SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
  フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。 本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。 そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
  論文  参考訳（メタデータ） (2026-07-05T09:23:35Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
  我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T04:13:27Z)
• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data [12.4809003470908]
  FCOは非平滑化器を扱う際に通信効率と堅牢性を達成する。 Fed Composite Error FeedbackCEFは非効率的な量子収束のための新しいアルゴリズムである。 非IIDデータからアグレッシブ化やノイズを緩和する。
  論文  参考訳（メタデータ） (2026-03-08T14:37:16Z)
• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• OvA-LP: A Simple and Efficient Framework for Federated Learning on Non-IID Data [3.2207230906189945]
  OvA-LPはPEFTベースのFFTパラダイム内でのドリフトを抑制するように設計されている。 100のクライアントを持つCIFAR-100では、OvA-LPはIID精度の95.9%を維持し、最先端のFFTベースラインは10.1%(PFPT)と34.5%(FFT-MoE)しか保持していない。
  論文  参考訳（メタデータ） (2025-11-07T07:00:20Z)
• FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge [7.976167864455345]
  フェデレート・ラーニング(FL)はフェデレーション・ファイン・チューニング(FFT)を通じて魅力的なソリューションを提供する FFT MoE は LoRA を sparse Mixture of Experts (MoE) アダプタに置き換える新しい FFT フレームワークである。 MoEは、一般化性能とトレーニング効率において、アートFFTベースラインの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-26T04:09:18Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。