論文の概要: On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
- arxiv url: http://arxiv.org/abs/2609.25705v1
- Date: Tue, 22 Sep 2026 05:17:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.231433
- Title: On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
- Title(参考訳): 逆ロバストなフェデレーション回帰の勾配不均一性ダイナミクスについて
- Abstract要約: フェデレートラーニング(FL)は本質的に異種である。
敵のクライアントは、任意の更新を共有することで、さらに異質性を高めることができます。
明確なサンプルバーンインの後に収束が保たれることを示す。
- 参考スコア(独自算出の注目度): 15.011110777973103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is intrinsically heterogeneous: honest clients may have different data-generating models. On top of that, adversarial clients can make heterogeneity even more pronounced by sharing arbitrary updates. Existing analyses typically control the interaction between statistical heterogeneity and adversarial behavior through gradient-dissimilarity conditions. However, the underlying bound is imposed a priori and may yield conservative guarantees even for least-squares regression. We instead derive the gradient heterogeneity from the statistical model of linear and nonlinear regression with fresh data samples at every round. Our bounds separate heterogeneity among the honest clients' ground-truth model parameters, finite-sample label noise, and initialization. We then demonstrate that, for any $(f,κ)$-robust aggregator with coefficient $κ= O(f/n)$, where $f$ is the number of adversarial clients and $n$ the total number of clients (with $f/n < 1/2$), convergence holds after an explicit sample burn-in.
- Abstract(参考訳): フェデレートラーニング(FL)は本質的に異種であり、正直なクライアントは異なるデータ生成モデルを持っているかもしれない。
それに加えて、敵のクライアントは任意のアップデートを共有することで、さらに異質性を高めることができる。
既存の分析は通常、勾配-相似性条件による統計的不均一性と逆挙動の相互作用を制御する。
しかし、基礎となる境界は優先順位を課され、最小二乗回帰でも保守的な保証が得られる。
その代わりに、各ラウンドにおける新しいデータサンプルによる線形回帰と非線形回帰の統計モデルから勾配の不均一性を導出する。
我々の境界は、正直なクライアントの基底構造モデルパラメータ、有限サンプルラベルノイズ、初期化の間に異質性を切り離す。
すると、$(f,κ)$-robust aggregator with coefficient $κ= O(f/n)$, where $f$ is the number of adversarial client and $n$ the total number of client (with $f/n < 1/2$)に対して、収束は明示的なサンプルバーンインの後に成り立つ。
関連論文リスト
- Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳(メタデータ) (2026-06-11T05:49:43Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳(メタデータ) (2026-02-26T00:47:51Z) - One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。
我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。
合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
論文 参考訳(メタデータ) (2026-01-13T04:47:22Z) - Spurious Correlations in High Dimensional Regression: The Roles of Regularization, Simplicity Bias and Over-Parameterization [19.261178173399784]
学習モデルは、トレーニングデータ内の非予測的特徴と関連するラベルとの間に急激な相関関係があることが示されている。
我々は、データ共分散とリッジ正規化の強さの点から、線形回帰によって学習されたスプリアス相関の量$C$を定量化する。
論文 参考訳(メタデータ) (2025-02-03T13:38:42Z) - Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。
FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。
フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。
既存手法に対するベンチマーク収束の実験結果
論文 参考訳(メタデータ) (2024-08-18T16:50:39Z) - Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。
本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
論文 参考訳(メタデータ) (2024-03-20T08:15:08Z) - EM for Mixture of Linear Regression with Clustered Data [6.948976192408852]
分散データにおけるクラスタ構造をどのように活用して学習手法を改善するかについて議論する。
我々は、既知の期待値最大化(EM)法を用いて、依存サンプルの$m$バッチから最大値パラメータを推定する。
構造化データ上のEMが適切であれば、$m$が$eo(n)$になる限り、同じ統計的精度に達するのに$O(1)$しか必要としないことを示す。
論文 参考訳(メタデータ) (2023-08-22T15:47:58Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。