論文の概要: Large Stepsizes Federated Learning on Logistic Regression with Linearly Separable Data: The Case of Heterogeneous Devices

• arxiv url: http://arxiv.org/abs/2610.05915v1
• Date: Mon, 05 Oct 2026 07:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:14:30.11639
• Title: Large Stepsizes Federated Learning on Logistic Regression with Linearly Separable Data: The Case of Heterogeneous Devices
• Title（参考訳）: 線形分離可能なデータを用いたロジスティック回帰のフェデレーション学習の大規模化--異種デバイスの場合
• Abstract要約: 本稿では,Federated Averaging(textttFedAvg$)アルゴリズムを用いて,多項ロジスティック回帰モデルの学習における分散学習問題を再検討する。 線形分離可能なデータでは、$textttFedAvg$ は任意のステップサイズで安定であり、目的値は $cal O (1/R)$ の速度で 0 に収束する。
• 参考スコア（独自算出の注目度）: 23.178525128206726
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper revisits the distributed learning problem for training a multinomial logistic regression model with the Federated Averaging ($\texttt{FedAvg}$) algorithm. We concentrate on a scenario with arbitrarily large stepsizes and heterogeneous update rules where the devices may perform a different number of local updates in each round. We show that, with linearly separable data, $\texttt{FedAvg}$ is stable with any stepsizes and the objective values converge to zero at the rate of ${\cal O}(1/R)$, where $R$ is the number of communication rounds. Our result also demonstrates that the effects of device heterogeneity vanish asymptotically. For sufficiently large $R$, the objective values decrease monotonically and is bounded by ${\cal O}( 1 / (R T_{\rm avg}))$, where $T_{\rm avg}$ is the average number of local update steps per communication round across devices. Numerical experiments support our findings.
• Abstract（参考訳）: 本稿では,フェデレート平均化(\texttt{FedAvg}$)アルゴリズムを用いて,多項ロジスティック回帰モデルの学習における分散学習問題を再検討する。 デバイスが各ラウンドで異なるローカル更新を実行できるような、任意のステップサイズと異種更新ルールによるシナリオに集中する。 線形分離可能なデータでは、$\texttt{FedAvg}$は任意のステップサイズで安定であり、目的値は${\cal O}(1/R)$で収束する。 また, デバイスの不均一性の影響は漸近的に消失することを示した。 十分に大きな$R$の場合、目的値は単調に減少し、${\cal O}(1 / (R T_{\rm avg})$で束縛される。 数値実験は我々の発見を裏付ける。

関連論文リスト

• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
  フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
  論文  参考訳（メタデータ） (2026-01-13T04:47:22Z)
• Constant Stepsize Local GD for Logistic Regression: Acceleration by Instability [13.332982107151434]
  我々は,任意の段数 $eta > 0$ を用いて,分離可能な異種データを用いたロジスティック回帰のための局所勾配 Descent の解析を行った。 我々の分析は、非常に大きなステップサイズによって不安定が引き起こされる、citewu2024largeの単一マシン解析と並行して行われる。
  論文  参考訳（メタデータ） (2025-06-16T20:29:00Z)
• Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression [13.332982107151434]
  局所的なステップで$O(1/KR)$、十分に大きな$R$通信ラウンドで$O(1/KR)$の収束を示す。 任意の問題に適用される局所GDの既存の収束保証は、少なくとも$Omega (1/R)$である。
  論文  参考訳（メタデータ） (2025-01-23T16:09:26Z)
• Turnstile $\ell_p$ leverage score sampling with applications [56.403488578703865]
  我々は,行列$AinmathbbRntimes d$の行をサンプリングする新しいアルゴリズムを開発した。 我々のアルゴリズムはサンプル行インデックスのセットを返すだけでなく、わずかに乱れた行を $tildea_i approx a_i$ で返却し、サンプリング確率を $varepsilon$ の相対誤差に近似する。 ロジスティック回帰のために、我々のフレームワークは$を達成した最初のアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-06-01T07:33:41Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• More Communication Does Not Result in Smaller Generalization Error in Federated Learning [9.00236182523638]
  フェデレーテッド・ラーニング・セッティングにおける統計的学習モデルの一般化誤差について検討する。 モデル集約の多重(mathbb N*$の$R)ラウンドについて検討し、最終的な集約モデルの一般化誤差に対する$R$の効果について検討する。
  論文  参考訳（メタデータ） (2023-04-24T15:56:11Z)
• List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
  高次元におけるリストデコタブル平均推定の基本的な課題について検討する。 我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。 我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
  論文  参考訳（メタデータ） (2020-11-19T17:21:37Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。