論文の概要: Beyond Conventional Federated Learning via High-Order Regularization
- arxiv url: http://arxiv.org/abs/2609.09904v1
- Date: Wed, 09 Sep 2026 09:02:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.960191
- Title: Beyond Conventional Federated Learning via High-Order Regularization
- Title（参考訳）: 高次正規化による従来型フェデレーション学習を超えて
- Abstract要約: 我々はHiFedProxを紹介します。これは2次ペナルティをスケールマッチングされたパワータイプ正規化器に置き換え、$pgeq2$でインデックス付けします。
すべてのパワーは参照変位$R$で同じ正則化-漸次等級を持つが、$p>2$ごとに$R$より弱い応答とそれより強い応答を与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated clients that perform several local optimization steps can return parameter displacements with widely different magnitudes. The quadratic regularization of FedProx grows linearly with displacement and therefore offers limited control over the contrast between ordinary and unusually large client movements. We here introduce HiFedProx, which replaces the quadratic penalty with a scale-matched power-type regularizer indexed by $p\geq2$. All powers have the same regularization-gradient magnitude at a reference displacement $R$, while every $p>2$ gives a weaker response below $R$ and a stronger response above it. An exact affine reference calculation shows that increasing $p$ compresses relative displacement disparities, although very large powers approach fixed-radius behavior and increase local curvature. HiFedProx combines this geometry with finite-budget stochastic client optimization and same-minibatch Armijo backtracking. In paired five-seed experiments on a frozen 60-writer FEMNIST subset, a common-parameter study over $p\in\{2,3,4,5,6,7,8\}$ shows similar clean-training performance but substantial gains under composite stress. The lowest moderate- and severe-stress losses occur at $p=7$ and $p=6$, improving over $p=2$ by $11.44\%$ and $23.16\%$, respectively. Although displacement-tail ratios continue to decrease through $p=8$, predictive performance peaks in an intermediate range and Armijo trial cost increases with $p$. These results indicate that the exponent should be calibrated rather than maximized. In our experiments, $p=5$--$7$ provides the most useful range.
- Abstract（参考訳）: いくつかの局所最適化ステップを実行するフェデレートされたクライアントは、大きく異なる大きさでパラメータの変位を返すことができる。
FedProxの二次正則化は変位とともに直線的に増加し、通常のクライアント運動と異常に大きなクライアント運動のコントラストを限定的に制御する。
ここでは、HiFedProxを紹介します。これは2次ペナルティをスケールマッチングされたパワータイプ正規化器に置き換え、$p\geq2$でインデックス付けします。
すべてのパワーは基準変位$R$で同じ正則化-漸次等級を持つが、$p>2$ごとに$R$より弱い応答とそれより強い応答を与える。
正確なアフィン基準計算により、$p$の増加は相対的な変位差を圧縮するが、非常に大きな力は固定半径の挙動に近づき、局所曲率を増加させる。
HiFedProxは、この幾何学と有限予算の確率的クライアント最適化と、同じミニバッチのArmijoバックトラックを組み合わせる。
凍結60文字FEMNISTサブセットの5シード実験で、$p\in\{2,3,4,5,6,7,8\}$の共通パラメータは、同様のクリーントレーニング性能を示すが、合成応力下ではかなりの上昇を示す。
最も低い中等・強強の損失は、それぞれ$p=7$と$p=6$であり、$p=2$を$1.44\%、$23.16\%よりも改善している。
変位テール比はp=8$まで減少し続けるが、中間範囲での予測性能ピークとArmijo試験コストは$p$で上昇する。
これらの結果から,指数を最大化するのではなく校正すべきであることが示唆された。
我々の実験では、$p=5$-7$が最も有用な範囲を提供する。
関連論文リスト
- On the Optimizer Dependence of Neural Scaling Laws [0.8594140167290097]
スケーリング指数$$は、ニューラルスケーリング法則において$L(N)propto N-$は、一般にアーキテクチャとデータによって固定定数として扱われる。
我々は$が体系的にスケールに依存するという証拠を提示する。
論文 参考訳（メタデータ） (2026-05-28T05:41:36Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
良性オーバーフィッティングが線形レートで失敗することを示します。
この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
論文 参考訳（メタデータ） (2026-05-07T14:14:09Z) - The Theory and Practice of Highly Scalable Gaussian Process Regression with Nearest Neighbours [1.529342790344802]
我々は、$NNGP$と$GPnn$レグレッションの理論的フレームワークを開発する。
3つの重要な予測基準について、ほぼ確実にポイントワイドな制限を導出します。
これらの結果は、完全な$GP$モデルに代わる、高度にスケーラブルで原則化された代替品として、$NNGP/GPnn$の厳密な統計基盤を提供する。
論文 参考訳（メタデータ） (2026-04-08T16:30:40Z) - Complexity of Classical Acceleration for $\ell_1$-Regularized PageRank [14.919427330415608]
FISTAは1/$ローカリティスケーリングを保ちながら$$への依存を改善することができることを示す。
我々はFISTAをわずかに過正規化された目的に基づいて解析し、チェック可能な閉じ込め条件下では、全ての刺激活性化が境界集合内に存在することを示す。
これにより、加速された$(sqrt)-1log(/varepsilon)$項と境界オーバーヘッド$sqrtvol(mathcalB)/(3/2)$からなるバウンダリが得られる。
論文 参考訳（メタデータ） (2026-02-24T17:35:46Z) - Scale-Invariant Fast Convergence in Games [67.02769061793619]
我々は,スケールフリーでもスケール不変でも,高速収束を実現する学習力学を開発した。
2プレーヤゼロサムゲームに対しては、$tildeO(A_mathrmdiff)$で有界な外部後悔を伴うスケールフリーかつスケール不変のダイナミクスが得られる。
マルチプレイヤーの汎用ゲームでは、過去の観測に基づいて観察された勾配をクリップする2倍のクリッピングと呼ばれる手法によって、スケールフリーの学習も可能となる。
論文 参考訳（メタデータ） (2026-02-12T11:57:20Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - (Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum [7.095058159492494]
ヘビーボール運動量(SHB)は機械学習モデルのトレーニングに一般的に用いられ、勾配よりも経験的な結果を提供することが多い。
SHBは, 条件値 $kappa2$ の閾値 $b*$ よりも小さい場合に, 高速化されたミニバッチサイズが得られることを示す。
論文 参考訳（メタデータ） (2024-01-12T18:17:28Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。