論文の概要: Federated Majorize-Minimization: Beyond Parameter Aggregation
- arxiv url: http://arxiv.org/abs/2507.17534v1
- Date: Wed, 23 Jul 2025 14:13:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:15.037812
- Title: Federated Majorize-Minimization: Beyond Parameter Aggregation
- Title（参考訳）: Federated Majorize-Minimization:パラメータ集約を超えて
- Authors: Aymeric Dieuleveut, Gersende Fort, Mahmoud Hegazy, Hoi-To Wai,
- Abstract要約: 本稿では,フェデレートされた学習環境に頑健にスケールする最適化アルゴリズムを設計するための統一的なアプローチを提案する。
本フレームワークは,スムーズな目的のための(近似的な)勾配に基づくアルゴリズム,期待最大化アルゴリズム,および変分代理MMとして見られる多くの問題を含む。
本稿では,従来の MM プロシージャを特別な例として含む Approximation Surrogate MM (SSMM) と呼ばれる統一アルゴリズムを動機付けていることを示す。
- 参考スコア（独自算出の注目度）: 27.52398073700742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a unified approach for designing stochastic optimization algorithms that robustly scale to the federated learning setting. Our work studies a class of Majorize-Minimization (MM) problems, which possesses a linearly parameterized family of majorizing surrogate functions. This framework encompasses (proximal) gradient-based algorithms for (regularized) smooth objectives, the Expectation Maximization algorithm, and many problems seen as variational surrogate MM. We show that our framework motivates a unifying algorithm called Stochastic Approximation Stochastic Surrogate MM (\SSMM), which includes previous stochastic MM procedures as special instances. We then extend \SSMM\ to the federated setting, while taking into consideration common bottlenecks such as data heterogeneity, partial participation, and communication constraints; this yields \QSMM. The originality of \QSMM\ is to learn locally and then aggregate information characterizing the \textit{surrogate majorizing function}, contrary to classical algorithms which learn and aggregate the \textit{original parameter}. Finally, to showcase the flexibility of this methodology beyond our theoretical setting, we use it to design an algorithm for computing optimal transport maps in the federated setting.
- Abstract（参考訳）: 本稿では,フェデレートされた学習環境に頑健にスケールする確率的最適化アルゴリズムを設計するための統一的なアプローチを提案する。
本研究は,代用関数の線形パラメータ化系を有するMM問題群について検討する。
このフレームワークは、(規則化された)滑らかな目的のための(近似的な)勾配に基づくアルゴリズム、期待最大化アルゴリズム、および変分代理MMとして見られる多くの問題を含む。
我々は,従来の確率的MMプロシージャを特別な例として含む確率的近似確率的サロゲートMM (\SSMM) と呼ばれる統一アルゴリズムを動機付けていることを示す。
次に、データの不均一性、部分的参加、通信制約といった共通のボトルネックを考慮して、フェデレートされた設定に \SSMM\ を拡張します。
QSMM {\displaystyle \QSMM} の独創性は、局所的に学習し、その後に \textit{surrogate majorizing function} を特徴づける情報を集約することである。
最後に、この方法論の柔軟性を理論的設定を超えて示すために、フェデレートされた環境で最適な輸送地図を計算するためのアルゴリズムを設計する。
関連論文リスト
- A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems [2.2217927229805032]
マトリックス補完は、パーソナライズされた医療、電子商取引、レコメンデーションシステム、ソーシャルネットワーク分析における幅広い応用で欠落したデータを予測するための基本となる。
伝統的な行列補完アプローチは典型的には集中型データストレージを前提としている。
フェデレートされた行列補完問題の解法としてtextttFedMC-ADMM を提案する。
論文 参考訳（メタデータ） (2025-03-17T01:57:06Z) - Federated Smoothing ADMM for Localization [9.25126455172971]
フェデレートされたシステムは、分散データ、非滑らか性、非滑らか性によって特徴づけられる。
このような環境に固有のスケーラビリティと外乱問題に対処する頑健なアルゴリズムを提案する。
提案アルゴリズムの信頼性を検証するため,定常点に収束することを示す。
数値シミュレーションは、既存の最先端ローカライゼーション法と比較して収束レジリエンスの優れた性能を強調している。
論文 参考訳（メタデータ） (2025-03-12T16:01:34Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - A unified consensus-based parallel ADMM algorithm for high-dimensional
regression with combined regularizations [3.280169909938912]
並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。
提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
論文 参考訳（メタデータ） (2023-11-21T03:30:38Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳（メタデータ） (2022-06-14T12:30:11Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳（メタデータ） (2021-11-01T15:43:36Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z) - Optimizing generalization on the train set: a novel gradient-based
framework to train parameters and hyperparameters simultaneously [0.0]
一般化は機械学習における中心的な問題である。
本稿では,新たなリスク尺度に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-11T18:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。