論文の概要: Personalized Projected Ascent for Federated Stackelberg Optimization

• arxiv url: http://arxiv.org/abs/2610.21295v1
• Date: Thu, 15 Oct 2026 05:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.204432
• Title: Personalized Projected Ascent for Federated Stackelberg Optimization
• Title（参考訳）: フェデレート・スタックルバーグ最適化のためのパーソナライズド・ジェネレーション
• Abstract要約: Minimaxの問題には、各クライアントのローカルデータから構築された内部変数が含まれる。 本稿では,2時間体制下でのドリフトの消失により,一定の分散が置き換えられるプライベート変数の昇華ステップを取り入れたVR-SGDAを提案する。
• 参考スコア（独自算出の注目度）: 4.445113167164494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated minimax problems, such as distributionally robust optimization and adversarial training, include an inner maximization variable built from each client's local data. These variables differ in meaning and dimension from one client to the next, so averaging them across clients, as standard federated minimax methods do, is ill-posed. We therefore study a federated minimax problem where the minimization variable $\mathbf{x}$ is shared and aggregated, while each client retains the maximization variable $\mathbf{y}_i$ (personalized). Because these applications constrain $\mathbf{y}_i$ to a compact convex set, we analyze projected ascent directly. We show that, in the nonconvex-concave regime, this projected personalized scheme attains the standard sublinear rate. In the nonconvex-PL regime, however, it hits a stepsize-invariant noise floor due to stochastic $\mathbf{y}_i$ updates. To mitigate this, we propose VR-SGDA, incorporating a variance-reduced ascent step where each client maintains a private variable snapshot. By evaluating current and snapshot gradients on the same sample, the constant variance is replaced by a vanishing drift under a two-timescale regime. VR-SGDA eliminates the noise floor, attaining sublinear leading rates while preserving personalization and projection. Experiments on subpopulation-robustness and NLP adversarial training confirm both the worst-group robustness benefits and the two-timescale tracking mechanism.
• Abstract（参考訳）: 分散ロバストな最適化や逆行訓練のようなフェデレートされたミニマックス問題には、各クライアントのローカルデータから構築された内部最大化変数が含まれる。 これらの変数は、あるクライアントから別のクライアントへの意味と次元が異なるため、標準のフェデレートされたminimaxメソッドのように、クライアント間で平均化が不十分である。 したがって、最小化変数 $\mathbf{x}$ が共有され集約されるフェデレートされたミニマックス問題について研究し、各クライアントは最大化変数 $\mathbf{y}_i$ (個人化) を保持する。 これらのアプリケーションはコンパクト凸集合に$\mathbf{y}_i$ を制約するため、投影された昇華を直接解析する。 非凸凹方式では、この予測されたパーソナライズされたスキームが標準サブリニアレートに達することが示されている。 しかし、非凸PL方式では、確率的な$\mathbf{y}_i$更新のため、ステップサイズ不変のノイズフロアにぶつかる。 これを軽減するために,各クライアントがプライベート変数のスナップショットを保持できる分散帰着ステップを組み込んだVR-SGDAを提案する。 同じサンプル上での電流勾配とスナップショット勾配を評価することにより、定数分散は2時間スケールの条件下で消滅するドリフトに置き換えられる。 VR-SGDAはノイズフロアを排除し、パーソナライズと投影を保ちながらサブリニアリードレートを得る。 サブポピュレーション・ロバストネスとNLP逆行訓練の実験は、最悪のグループロバストネスの利点と2段階追跡機構の両方を確認した。

関連論文リスト

• Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering [2.685668802278155]
  DP-GRAMSは平均シフトにインスパイアされた手法であり、差分プライベートスコア推定器で雑音を発生させる。 すべての集団モードが高い確率で復元されることを証明し、$O!left(tfraclog nn)frac2,-1)d+2rightという形の誤り率を確立する。 本稿では,DP-PMS,プライベートモード回帰法,クラスタリングパイプラインのDP-GRAMS-Cの2つの自然拡張を提案する。
  論文  参考訳（メタデータ） (2026-07-31T17:55:02Z)
• Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
  勾配だけでヘッセンが明らかになることを示す。 我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
  論文  参考訳（メタデータ） (2026-01-26T14:50:16Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression [66.93988594607842]
  プライバシー制約の下では、プライベート線形回帰の複雑さは通常の共分散行列によって捉えられる。 最適率を達成するための情報重み付け回帰手法を提案する。 特に、我々の結果は、共同プライバシーは追加費用がほとんどないことを示している。
  論文  参考訳（メタデータ） (2025-02-18T18:35:24Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
  本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。 境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
  論文  参考訳（メタデータ） (2022-06-06T13:21:52Z)
• Distributed Sparse Regression via Penalization [5.990069843501885]
  エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。 推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。 本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
  論文  参考訳（メタデータ） (2021-11-12T01:51:50Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。