論文の概要: Personalized Federated Learning: A Unified Framework and Universal
Optimization Techniques
- arxiv url: http://arxiv.org/abs/2102.09743v4
- Date: Fri, 26 May 2023 19:05:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 04:58:16.287228
- Title: Personalized Federated Learning: A Unified Framework and Universal
Optimization Techniques
- Title(参考訳): 個人化フェデレーション学習:統一フレームワークとユニバーサル最適化手法
- Authors: Filip Hanzely, Boxin Zhao, Mladen Kolar
- Abstract要約: 本稿では,多数の既存FL目標に対して適用可能な一般化計算を提案する。
我々は,多種多様なパーソナライズされたFLモデルに適用可能な包括的最適化理論を開発した。
- 参考スコア(独自算出の注目度): 22.90553208086993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the optimization aspects of personalized Federated Learning
(FL). We propose general optimizers that can be applied to numerous existing
personalized FL objectives, specifically a tailored variant of Local SGD and
variants of accelerated coordinate descent/accelerated SVRCD. By examining a
general personalized objective capable of recovering many existing personalized
FL objectives as special cases, we develop a comprehensive optimization theory
applicable to a wide range of strongly convex personalized FL models in the
literature. We showcase the practicality and/or optimality of our methods in
terms of communication and local computation. Remarkably, our general
optimization solvers and theory can recover the best-known communication and
computation guarantees for addressing specific personalized FL objectives.
Consequently, our proposed methods can serve as universal optimizers, rendering
the design of task-specific optimizers unnecessary in many instances.
- Abstract(参考訳): 個人化フェデレートラーニング(FL)の最適化面について検討する。
本稿では,多数の既存FL目標,特にローカルSGDのカスタマイズされた変種,および加速座標降下/加速SVRCDの変種に適用可能な汎用オプティマイザを提案する。
既存のパーソナライズされたflの目的の多くを特殊ケースとして回収できる汎用的パーソナライズド目標を考察することにより,文献中の幅広い強凸パーソナライズドflモデルに適用可能な包括的最適化理論を考案する。
通信と局所計算の観点から,本手法の実用性と最適性を示す。
注目すべきは、我々の一般的な最適化解法と理論は、特定のパーソナライズされたFL目的に対処するための最もよく知られた通信と計算の保証を回復することができることである。
その結果,提案手法は汎用最適化器として機能し,多くのインスタンスにおいてタスク固有の最適化器の設計を不要にすることができる。
関連論文リスト
- A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳(メタデータ) (2023-11-24T18:27:26Z) - ZooPFL: Exploring Black-box Foundation Models for Personalized Federated
Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。
個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。
計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文 参考訳(メタデータ) (2023-10-08T12:26:13Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct
Preference Optimization [78.50294936259026]
我々は、最小限のオーバーヘッドで複数のアライメント目標に対して、MODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは言語モデリングを直接報酬モデリングに折り畳み、全ての目的を特定の重み付けと組み合わせた暗黙的な集団報酬モデル(cRM)としてLMを訓練する。
理論上は MORLHF と同じ最適解を生成することが保証されているが、MODPO は事実上より安定で計算的に効率的である。
論文 参考訳(メタデータ) (2023-10-05T17:35:26Z) - Evolutionary Solution Adaption for Multi-Objective Metal Cutting Process
Optimization [59.45414406974091]
我々は,従来の最適化タスクから解を転送するアルゴリズムの能力を研究することのできる,システムの柔軟性のためのフレームワークを提案する。
NSGA-IIの柔軟性を2つの変種で検討し,1)2つのタスクの解を同時に最適化し,より適応性が高いと期待されるソース間の解を得る,2)活性化あるいは非活性化の異なる可能性に対応する能動的非アクティブなジェノタイプについて検討した。
その結果,標準NSGA-IIによる適応は目標目標への最適化に必要な評価回数を大幅に削減し,提案した変種は適応コストをさらに向上することがわかった。
論文 参考訳(メタデータ) (2023-05-31T12:07:50Z) - Towards Optimization and Model Selection for Domain Generalization: A
Mixup-guided Solution [43.292274574847234]
そこで本研究では,ドメイン一般化のためのMixupガイドによる最適化と選択手法を提案する。
最適化のために、好みの方向を導出するアウト・オブ・ディストリビューション・データセットを利用する。
モデル選択のために、ターゲット分布に近づいた検証データセットを生成する。
論文 参考訳(メタデータ) (2022-09-01T02:18:00Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳(メタデータ) (2022-07-14T22:46:43Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳(メタデータ) (2021-08-20T12:08:44Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z) - Adaptive Personalized Federated Learning [20.80073507382737]
フェデレーション学習アルゴリズムにおけるパーソナライゼーションの度合いの調査では、グローバルモデルの性能を最大化するだけで、ローカルモデルのパーソナライズ能力をトレーニングできることが示されている。
論文 参考訳(メタデータ) (2020-03-30T13:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。