論文の概要: FedFrozen: Two-Stage Federated Optimization via Attention Kernel Freezing
- arxiv url: http://arxiv.org/abs/2605.06446v1
- Date: Thu, 07 May 2026 15:44:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.954084
- Title: FedFrozen: Two-Stage Federated Optimization via Attention Kernel Freezing
- Title（参考訳）: FedFrozen: 注意カーネル凍結による2段階のフェデレーション最適化
- Authors: Junye Du, Zhenghao Li, Yushi Feng, Long Feng,
- Abstract要約: 不均一なクライアントによるフェデレーション学習は、ディープラーニングにとって依然として重要な課題である。
近年の研究では、トランスフォーマーベースのアーキテクチャは、異種訓練における従来のモデルよりも本質的に堅牢である可能性が示唆されている。
我々はFedFrozenを提案する。これは2段階のフェデレーション最適化フレームワークで、まずフルモデルウォームアップトレーニングを行い、その後、値ブロックを最適化しながらクエリ/キーブロックを凍結する。
- 参考スコア（独自算出の注目度）: 4.1091811628922486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning with heterogeneous clients remains a significant challenge for deep learning, primarily due to client drift arising from inconsistent local updates. Existing federated optimization methods typically address this issue through objective-level regularization or update-correction mechanisms. Recent studies, however, suggest that Transformer-based architectures may be inherently more robust than conventional models under heterogeneous federated training. Motivated by this observation, we investigate how different parameter components within the attention mechanism influence federated optimization. Specifically, we decompose the attention module into a query/key block, which determines the attention kernel, and a value block, which performs semantic transformation under the induced kernel. Based on this perspective, we propose FedFrozen, a two-stage federated optimization framework that first performs full-model warm-up training and then freezes the query/key block while continuing to optimize the value block. Under a linear-attention formulation, we show that the warm-up stage can be interpreted as an inexact descent procedure on a regularized kernel-profile objective, while the frozen stage reduces to a restricted value-block optimization problem under a fixed attention kernel. Our analysis further reveals an explicit trade-off that governs the choice of warm-up length. Simulations validate the predicted bias-drift behavior, and real-data experiments demonstrate that FedFrozen improves both the stability and effectiveness of Transformer models in heterogeneous federated learning.
- Abstract（参考訳）: 不均一なクライアントとのフェデレーション学習は、主に不整合なローカルアップデートに起因するクライアントのドリフトのため、ディープラーニングにとって依然として重要な課題である。
既存のフェデレーション最適化手法は、通常、客観的な正規化や更新補正機構を通じてこの問題に対処する。
しかし近年の研究では、トランスフォーマーベースのアーキテクチャは、異種フェデレーショントレーニングにおける従来のモデルよりも本質的に堅牢である可能性が示唆されている。
本研究の目的は,アテンション機構内のパラメータ成分がフェデレーション最適化にどのように影響するかを検討することである。
具体的には、アテンションモジュールを、アテンションカーネルを決定するクエリ/キーブロックと、インジェクションされたカーネルの下でセマンティックトランスフォーメーションを実行するバリューブロックに分解する。
この観点からFedFrozenを提案する。これは2段階のフェデレーション最適化フレームワークで、まずフルモデルウォームアップトレーニングを行い、その後、値ブロックを最適化しながらクエリ/キーブロックを凍結する。
線形アテンションの定式化では、ウォームアップステージは正規化カーネル注目の目的に対して不正確な降下手順として解釈でき、一方、凍結ステージは固定されたアテンションカーネルの下での制限値ブロック最適化問題に還元される。
われわれの分析は、ウォームアップ長の選択を規定する明確なトレードオフをさらに明らかにしている。
シミュレーションにより予測されたバイアス・ドリフト挙動が検証され、実データ実験により、FedFrozenは異種フェデレーション学習におけるTransformerモデルの安定性と有効性の両方を改善していることが示された。
関連論文リスト
- Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。
FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。
我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文 参考訳（メタデータ） (2026-03-30T11:37:46Z) - Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference [1.7523718031184992]
この障害の基本的なメカニズムは、 textbf Premature Mode Collapseである。
提案手法は,適応型スケジューリングアルゴリズムであるtextbfEfficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC) で,推論過程の安定性をモニタする。
論文 参考訳（メタデータ） (2026-01-30T14:47:18Z) - Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization [11.323131201168572]
自然スペクトル融合(NSF: Natural Spectral Fusion: NSF: Reframing training as controllable spectrum coverage and information fusion)を提案する。
NSFには2つの基本原理がある: バランスを動的に低周波と高周波の情報を扱うスペクトルコントローラとして扱う。
循環スケジューリングはテストエラーを一定に低減し、異なる収束挙動を示す。
論文 参考訳（メタデータ） (2025-09-05T00:00:00Z) - Frequency-Driven Inverse Kernel Prediction for Single Image Defocus Deblurring [25.716315158370747]
単一画像デフォーカスデブルリングは、デフォーカス相手からオールインフォーカスイメージを復元することを目的としている。
既存のほとんどの手法は、カーネル推定のための空間的特徴に依存しているが、その性能はひどくぼやけた領域で低下する。
本稿では、周波数領域表現を組み込んだ周波数駆動逆カーネル予測ネットワーク(FDIKP)を提案する。
論文 参考訳（メタデータ） (2025-08-18T09:01:13Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Optimizing Asynchronous Federated Learning: A Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency [2.1990852305468533]
同期フェデレーションラーニング(FL)は、ストラグラー効果によりクライアント数に悪影響を及ぼす。
本研究では,非同期FLアルゴリズムにおける設計選択の影響をよりよく理解するために,モデリングと解析に頼っている。
特に,モデルパラメータの安定化を回避し,勾配推定誤差の最小化という,非同期FLの最適化のための基本的なトレードオフを特徴付ける。
論文 参考訳（メタデータ） (2025-02-12T08:38:13Z) - Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
複雑な状態における最適化のダイナミクスを記述できる理論を開発する。
この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-31T17:58:13Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳（メタデータ） (2024-05-16T14:22:49Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳（メタデータ） (2020-07-15T05:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。