Fugu-MT 論文翻訳(概要): Non-Convex Federated Optimization under Cost-Aware Client Selection

論文の概要: Non-Convex Federated Optimization under Cost-Aware Client Selection

arxiv url: http://arxiv.org/abs/2512.05327v1
Date: Fri, 05 Dec 2025 00:10:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-13 22:40:56.847262
Title: Non-Convex Federated Optimization under Cost-Aware Client Selection
Title（参考訳）: コストを考慮したクライアント選択における非凸フェデレーション最適化
Authors: Xiaowen Jiang, Anton Rodomanov, Sebastian U. Stich,
Abstract要約: 本稿では,コミュニケーションと局所的な複雑さを定量化するフェデレーション最適化モデルを提案する。次に、勾配推定器の誤差境界を潜在的に改善する一般的な方法としてRecursive-Gradient手法を導入する。この手法をSAGAに適用することにより,従来の手法と比較して誤差が改善した新しい推定器 RGSAGA が得られる。
参考スコア（独自算出の注目度）: 36.2080705403997
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Different federated optimization algorithms typically employ distinct client-selection strategies: some methods communicate only with a randomly sampled subset of clients at each round, while others need to periodically communicate with all clients or use a hybrid scheme that combines both strategies. However, existing metrics for comparing optimization methods typically do not distinguish between these strategies, which often incur different communication costs in practice. To address this disparity, we introduce a simple and natural model of federated optimization that quantifies communication and local computation complexities. This new model allows for several commonly used client-selection strategies and explicitly associates each with a distinct cost. Within this setting, we propose a new algorithm that achieves the best-known communication and local complexities among existing federated optimization methods for non-convex optimization. This algorithm is based on the inexact composite gradient method with a carefully constructed gradient estimator and a special procedure for solving the auxiliary subproblem at each iteration. The gradient estimator is based on SAGA, a popular variance-reduced gradient estimator. We first derive a new variance bound for it, showing that SAGA can exploit functional similarity. We then introduce the Recursive-Gradient technique as a general way to potentially improve the error bound of a given conditionally unbiased gradient estimator, including both SAGA and SVRG. By applying this technique to SAGA, we obtain a new estimator, RG-SAGA, which has an improved error bound compared to the original one.
Abstract（参考訳）: あるメソッドは、各ラウンドでランダムにサンプリングされたクライアントのサブセットのみと通信するが、他のメソッドは、定期的にすべてのクライアントと通信するか、両方の戦略を組み合わせたハイブリッドスキームを使用する必要がある。しかし、最適化手法を比較するための既存のメトリクスは、一般的にこれらの戦略を区別しない。この格差に対処するために、通信と局所計算の複雑さを定量化するフェデレーション最適化の単純で自然なモデルを導入する。この新モデルは、一般的に使用されるいくつかのクライアント選択戦略を可能にし、それぞれを明確なコストで明示的に関連付ける。本研究では,非凸最適化のための既存のフェデレーション最適化手法において,最もよく知られた通信と局所的な複雑さを実現するアルゴリズムを提案する。このアルゴリズムは、慎重に構築された勾配推定器と、各イテレーションで補助的なサブプロブレムを解くための特別な手順を備えた、不正確な複合勾配法に基づいている。勾配推定器は、一般的な分散還元勾配推定器であるSAGAに基づいている。まず、SAGAが機能的類似性を活用できることを示す新しい分散バウンダリを導出する。次に、SAGAとSVRGを含む条件付き非バイアス勾配推定器の誤差境界を改善するための一般的な方法としてRecursive-Gradient手法を導入する。この手法をSAGAに適用することにより,従来のものと比べ誤差が改善した新しい推定器RG-SAGAが得られる。

関連論文リスト

Closing the Generalization Gap in Parameter-efficient Federated Edge Learning [43.00634399799955]
フェデレーションエッジラーニング(FEEL)は人工知能(AI)のための有望な基盤を提供する限定的で異種なローカルデータセット、およびリソース制限されたデプロイメントは、モデル一般化とリソース利用の両方を著しく低下させる。本稿では,モデル最小化と一般化選択を併用して,このような課題に対処するフレームワークを提案する。
論文参考訳（メタデータ） (2025-11-28T15:34:09Z)
Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文参考訳（メタデータ） (2024-07-24T12:00:30Z)
Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients [31.674600866528788]
トラジェクトリインフォームド・サロゲート勾配(FZooS)アルゴリズムを導入し,通信効率の高いZOOを提案する。我々のFZooSは、フェデレートされたブラックボックス対向攻撃やフェデレーションされた非微分可能なメートル法最適化といった実世界の実験によって支持される既存のアプローチよりも理論的に改善されている。
論文参考訳（メタデータ） (2023-08-08T06:26:54Z)
GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity [54.585248253601314]
本研究では,クライアントが通信前に複数の局所勾配型トレーニングステップを実行できるようにすることにより,通信コストの低減を目的とした分散最適化アルゴリズムのクラスについて検討する。特に、修正したGradSkipは、同じ仮定の下で線形に収束し、通信複雑性が同じであることを示す。
論文参考訳（メタデータ） (2022-10-28T20:59:06Z)
On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文参考訳（メタデータ） (2021-08-19T13:19:54Z)
FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文参考訳（メタデータ） (2021-08-16T02:57:06Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-04T00:26:56Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。