Fugu-MT 論文翻訳(概要): Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

論文の概要: Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

arxiv url: http://arxiv.org/abs/2102.09743v1
Date: Fri, 19 Feb 2021 04:56:28 GMT
ステータス: 処理完了
システム内更新日: 2021-02-22 21:00:00.277610
Title: Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Title（参考訳）: 個人化フェデレーション学習:統一フレームワークとユニバーサル最適化手法
Authors: Filip Hanzely, Boxin Zhao, Mladen Kolar
Abstract要約: 我々は全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。
参考スコア（独自算出の注目度）: 27.269206750811477
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the optimization aspects of personalized Federated Learning (FL). We develop a universal optimization theory applicable to all convex personalized FL models in the literature. In particular, we propose a general personalized objective capable of recovering essentially any existing personalized FL objective as a special case. We design several optimization techniques to minimize the general objective, namely a tailored variant of Local SGD and variants of accelerated coordinate descent/accelerated SVRCD. We demonstrate the practicality and/or optimality of our methods both in terms of communication and local computation. Lastly, we argue about the implications of our general optimization theory when applied to solve specific personalized FL objectives.
Abstract（参考訳）: 個人化フェデレートラーニング(FL)の最適化面について検討した。文献における全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。一般目的を最小化するためのいくつかの最適化手法,すなわち局所sgdのカスタマイズされた変種と加速座標降下/加速svrcdの変種を設計した。提案手法は,通信と局所計算の両面で実用性および/または最適性を示す。最後に、特定のパーソナライズされたfl目標を解決するために適用される一般的な最適化理論の意味について論じる。

関連論文リスト

Federated Communication-Efficient Multi-Objective Optimization [27.492821176616815]
本稿では,従来の手法と比較して誤り収束性能を向上させる新しいFMOOアルゴリズムであるFedCMOOを提案する。また,FedCMOOの変種を導入し,最終目標値の所望の比率で目的値の勾配を指定できるようにした。
論文参考訳（メタデータ） (2024-10-21T18:09:22Z)
MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文参考訳（メタデータ） (2024-10-18T05:31:13Z)
RosePO: Aligning LLM-based Recommenders with Human Values [38.029251417802044]
我々は、パーソナライズされた選好最適化(RosePO)を円滑にするための一般的なフレームワークを提案する。 RosePOは、トレーニング後の段階において、カスタマイズされた人的価値との整合性が向上する。実世界の3つのデータセットの評価は,本手法の有効性を示す。
論文参考訳（メタデータ） (2024-10-16T12:54:34Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Hybrid Preference Optimization: Augmenting Direct Preference Optimization with Auxiliary Objectives [0.5120567378386615]
大規模言語モデル(LLM)を協調するハイブリッドアプローチを提案する。 DPO の暗黙的な報酬分解に対する単純な拡張により、任意の補助報酬の集合を最大化するために LLM をチューニングできる。提案手法であるHybrid Preference Optimization (HPO) は,ユーザの好みと補助的な設計目的の両方に効果的に一般化できることを示す。
論文参考訳（メタデータ） (2024-05-28T08:35:48Z)
A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文参考訳（メタデータ） (2023-11-24T18:27:26Z)
Evolutionary Solution Adaption for Multi-Objective Metal Cutting Process Optimization [59.45414406974091]
我々は,従来の最適化タスクから解を転送するアルゴリズムの能力を研究することのできる,システムの柔軟性のためのフレームワークを提案する。 NSGA-IIの柔軟性を2つの変種で検討し,1)2つのタスクの解を同時に最適化し,より適応性が高いと期待されるソース間の解を得る,2)活性化あるいは非活性化の異なる可能性に対応する能動的非アクティブなジェノタイプについて検討した。その結果,標準NSGA-IIによる適応は目標目標への最適化に必要な評価回数を大幅に削減し,提案した変種は適応コストをさらに向上することがわかった。
論文参考訳（メタデータ） (2023-05-31T12:07:50Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)
Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文参考訳（メタデータ） (2020-12-10T03:24:53Z)
Adaptive Personalized Federated Learning [20.80073507382737]
フェデレーション学習アルゴリズムにおけるパーソナライゼーションの度合いの調査では、グローバルモデルの性能を最大化するだけで、ローカルモデルのパーソナライズ能力をトレーニングできることが示されている。
論文参考訳（メタデータ） (2020-03-30T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。