論文の概要: Federated Frank-Wolfe Algorithm
- arxiv url: http://arxiv.org/abs/2408.10090v1
- Date: Mon, 19 Aug 2024 15:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 15:43:09.837207
- Title: Federated Frank-Wolfe Algorithm
- Title(参考訳): Federated Frank-Wolfe アルゴリズム
- Authors: Ali Dadras, Sourasekhar Banerjee, Karthik Prakhya, Alp Yurtsever,
- Abstract要約: 制約付き機械学習問題に対するFedFW(Federated FrankWolfe Algorithm)を提案する。
FedFWは、データのプライバシ、イット当たりのコストの低減、疎通信、イテレーションを備えている。
We show that FedFW finds a solution within $O(varepsilon-3)$ in the convex set。
- 参考スコア(独自算出の注目度): 7.124736158080938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has gained a lot of attention in recent years for building privacy-preserving collaborative learning systems. However, FL algorithms for constrained machine learning problems are still limited, particularly when the projection step is costly. To this end, we propose a Federated Frank-Wolfe Algorithm (FedFW). FedFW features data privacy, low per-iteration cost, and communication of sparse signals. In the deterministic setting, FedFW achieves an $\varepsilon$-suboptimal solution within $O(\varepsilon^{-2})$ iterations for smooth and convex objectives, and $O(\varepsilon^{-3})$ iterations for smooth but non-convex objectives. Furthermore, we present a stochastic variant of FedFW and show that it finds a solution within $O(\varepsilon^{-3})$ iterations in the convex setting. We demonstrate the empirical performance of FedFW on several machine learning tasks.
- Abstract(参考訳): フェデレートラーニング(FL)は近年,プライバシ保護型協調学習システムの構築において注目を集めている。
しかし、制約付き機械学習問題に対するFLアルゴリズムは、特にプロジェクションステップが高価である場合、依然として制限されている。
そこで我々はFedFW(Federated Frank-Wolfe Algorithm)を提案する。
FedFWはデータのプライバシ、イテレーションあたりのコストの低減、スパース信号の通信機能を備えている。
決定論的設定では、FedFWは滑らかで凸な目的に対して$O(\varepsilon^{-2})$イテレーション、滑らかだが凸でない目的に対して$O(\varepsilon^{-3})$イテレーションを達成する。
さらに、FedFWの確率的変種を示し、凸設定における$O(\varepsilon^{-3})$反復の解を求める。
いくつかの機械学習タスクにおいて、FedFWの実証的な性能を示す。
関連論文リスト
- Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。
本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。
我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
論文 参考訳(メタデータ) (2023-10-05T15:48:41Z) - Variance-Reduced Conservative Policy Iteration [45.69105313297521]
政策空間上の経験的リスク問題の列に強化学習を還元するサンプル複雑性について検討する。
本稿では,保守政策の最小化の分散還元版を提案する。
論文 参考訳(メタデータ) (2022-12-12T23:31:24Z) - Local Stochastic Bilevel Optimization with Momentum-Based Variance
Reduction [104.41634756395545]
具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。
FedBiOの複雑性は$O(epsilon-1.5)$である。
本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-03T16:40:22Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳(メタデータ) (2020-12-02T12:18:27Z) - Accelerated Stochastic Gradient-free and Projection-free Methods [37.15461647823691]
本稿では,STORMの新たな分散化手法に基づいて,ゼロオーダーのFrank-Wolfe (Acc-SZOFW) を提案する。
Acc-SZOFWで必要とされる大きなバッチを緩和するために、新しいSTORMの分散化技術に基づいて、ゼロ階のフランク・ウルフ(Acc-SZOFW*)を高速化する手法を提案する。
論文 参考訳(メタデータ) (2020-07-16T20:50:15Z) - Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。
このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。
我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
論文 参考訳(メタデータ) (2020-06-23T20:51:00Z) - How Does Momentum Help Frank Wolfe? [81.95857252228537]
加速勾配法(AGM)におけるFW型アルゴリズムと運動量との関係を明らかにする。
負の面において、これらの接続は、なぜモーメントがFW型アルゴリズムに効果を示さないのかを示している。
一方、このリンクの背後にある励ましのメッセージは、一連の問題において、FWにとってモーメントが有用であるということだ。
論文 参考訳(メタデータ) (2020-06-19T13:06:00Z) - A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization [60.90222082871258]
本稿では,制約集合上の線形最小化オラクル(LMO)を用いて,制約付き自己調和最小化問題のクラスをカラフルに解く方法を示す。
L-smoothの場合、我々の手法のLMO呼び出し数はFrank-Wolfe法とほぼ同じであることを示す。
論文 参考訳(メタデータ) (2020-02-17T15:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。