論文の概要: Personalized Federated Learning: A Unified Framework and Universal
Optimization Techniques
- arxiv url: http://arxiv.org/abs/2102.09743v1
- Date: Fri, 19 Feb 2021 04:56:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 21:00:00.277610
- Title: Personalized Federated Learning: A Unified Framework and Universal
Optimization Techniques
- Title(参考訳): 個人化フェデレーション学習:統一フレームワークとユニバーサル最適化手法
- Authors: Filip Hanzely, Boxin Zhao, Mladen Kolar
- Abstract要約: 我々は全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。
特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。
- 参考スコア(独自算出の注目度): 27.269206750811477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the optimization aspects of personalized Federated Learning (FL). We
develop a universal optimization theory applicable to all convex personalized
FL models in the literature. In particular, we propose a general personalized
objective capable of recovering essentially any existing personalized FL
objective as a special case. We design several optimization techniques to
minimize the general objective, namely a tailored variant of Local SGD and
variants of accelerated coordinate descent/accelerated SVRCD. We demonstrate
the practicality and/or optimality of our methods both in terms of
communication and local computation. Lastly, we argue about the implications of
our general optimization theory when applied to solve specific personalized FL
objectives.
- Abstract(参考訳): 個人化フェデレートラーニング(FL)の最適化面について検討した。
文献における全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。
特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。
一般目的を最小化するためのいくつかの最適化手法,すなわち局所sgdのカスタマイズされた変種と加速座標降下/加速svrcdの変種を設計した。
提案手法は,通信と局所計算の両面で実用性および/または最適性を示す。
最後に、特定のパーソナライズされたfl目標を解決するために適用される一般的な最適化理論の意味について論じる。
関連論文リスト
- A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳(メタデータ) (2023-11-24T18:27:26Z) - ZooPFL: Exploring Black-box Foundation Models for Personalized Federated
Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。
個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。
計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文 参考訳(メタデータ) (2023-10-08T12:26:13Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct
Preference Optimization [78.50294936259026]
我々は、最小限のオーバーヘッドで複数のアライメント目標に対して、MODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは言語モデリングを直接報酬モデリングに折り畳み、全ての目的を特定の重み付けと組み合わせた暗黙的な集団報酬モデル(cRM)としてLMを訓練する。
理論上は MORLHF と同じ最適解を生成することが保証されているが、MODPO は事実上より安定で計算的に効率的である。
論文 参考訳(メタデータ) (2023-10-05T17:35:26Z) - Evolutionary Solution Adaption for Multi-Objective Metal Cutting Process
Optimization [59.45414406974091]
我々は,従来の最適化タスクから解を転送するアルゴリズムの能力を研究することのできる,システムの柔軟性のためのフレームワークを提案する。
NSGA-IIの柔軟性を2つの変種で検討し,1)2つのタスクの解を同時に最適化し,より適応性が高いと期待されるソース間の解を得る,2)活性化あるいは非活性化の異なる可能性に対応する能動的非アクティブなジェノタイプについて検討した。
その結果,標準NSGA-IIによる適応は目標目標への最適化に必要な評価回数を大幅に削減し,提案した変種は適応コストをさらに向上することがわかった。
論文 参考訳(メタデータ) (2023-05-31T12:07:50Z) - Towards Optimization and Model Selection for Domain Generalization: A
Mixup-guided Solution [43.292274574847234]
そこで本研究では,ドメイン一般化のためのMixupガイドによる最適化と選択手法を提案する。
最適化のために、好みの方向を導出するアウト・オブ・ディストリビューション・データセットを利用する。
モデル選択のために、ターゲット分布に近づいた検証データセットを生成する。
論文 参考訳(メタデータ) (2022-09-01T02:18:00Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳(メタデータ) (2022-07-14T22:46:43Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳(メタデータ) (2021-08-20T12:08:44Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z) - Adaptive Personalized Federated Learning [20.80073507382737]
フェデレーション学習アルゴリズムにおけるパーソナライゼーションの度合いの調査では、グローバルモデルの性能を最大化するだけで、ローカルモデルのパーソナライズ能力をトレーニングできることが示されている。
論文 参考訳(メタデータ) (2020-03-30T13:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。