Fugu-MT 論文翻訳(概要): Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

論文の概要: Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

arxiv url: http://arxiv.org/abs/2102.09743v1
Date: Fri, 19 Feb 2021 04:56:28 GMT
ステータス: 処理完了
システム内更新日: 2021-02-22 21:00:00.277610
Title: Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques
Title（参考訳）: 個人化フェデレーション学習:統一フレームワークとユニバーサル最適化手法
Authors: Filip Hanzely, Boxin Zhao, Mladen Kolar
Abstract要約: 我々は全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。
参考スコア（独自算出の注目度）: 27.269206750811477
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the optimization aspects of personalized Federated Learning (FL). We develop a universal optimization theory applicable to all convex personalized FL models in the literature. In particular, we propose a general personalized objective capable of recovering essentially any existing personalized FL objective as a special case. We design several optimization techniques to minimize the general objective, namely a tailored variant of Local SGD and variants of accelerated coordinate descent/accelerated SVRCD. We demonstrate the practicality and/or optimality of our methods both in terms of communication and local computation. Lastly, we argue about the implications of our general optimization theory when applied to solve specific personalized FL objectives.
Abstract（参考訳）: 個人化フェデレートラーニング(FL)の最適化面について検討した。文献における全凸パーソナライズされたFLモデルに適用可能な普遍最適化理論を開発する。特に,既存のパーソナライズされたfl目標を,特別なケースとして回収できる汎用的パーソナライズ目標を提案する。一般目的を最小化するためのいくつかの最適化手法,すなわち局所sgdのカスタマイズされた変種と加速座標降下/加速svrcdの変種を設計した。提案手法は,通信と局所計算の両面で実用性および/または最適性を示す。最後に、特定のパーソナライズされたfl目標を解決するために適用される一般的な最適化理論の意味について論じる。

関連論文リスト

Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization [24.533662423325943]
明示的なユーザ嗜好の存在下で、嗜好を意識したMO-MABフレームワークについて検討する。これは、明示的なユーザの好みを持つカスタマイズされたMO-MAB最適化に関する最初の理論的研究である。
論文参考訳（メタデータ） (2025-02-19T06:06:13Z)
Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment [45.45508377432791]
本稿では、人気のある選好最適化手法を統合する数学的フレームワークであるReward-Aware Preference Optimization (RPO)を紹介する。 RPOは、様々な設計選択の影響を混乱させ、体系的に研究するための構造化されたアプローチを提供する。そこで我々は,このような設計選択をクリーンかつ直接アブレーションできる新しい実験装置を提案する。
論文参考訳（メタデータ） (2025-01-31T22:39:04Z)
Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
論文参考訳（メタデータ） (2025-01-07T03:14:39Z)
MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文参考訳（メタデータ） (2024-10-18T05:31:13Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Evolutionary Solution Adaption for Multi-Objective Metal Cutting Process Optimization [59.45414406974091]
我々は,従来の最適化タスクから解を転送するアルゴリズムの能力を研究することのできる,システムの柔軟性のためのフレームワークを提案する。 NSGA-IIの柔軟性を2つの変種で検討し,1)2つのタスクの解を同時に最適化し,より適応性が高いと期待されるソース間の解を得る,2)活性化あるいは非活性化の異なる可能性に対応する能動的非アクティブなジェノタイプについて検討した。その結果,標準NSGA-IIによる適応は目標目標への最適化に必要な評価回数を大幅に削減し,提案した変種は適応コストをさらに向上することがわかった。
論文参考訳（メタデータ） (2023-05-31T12:07:50Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)
Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文参考訳（メタデータ） (2020-12-10T03:24:53Z)
Adaptive Personalized Federated Learning [20.80073507382737]
フェデレーション学習アルゴリズムにおけるパーソナライゼーションの度合いの調査では、グローバルモデルの性能を最大化するだけで、ローカルモデルのパーソナライズ能力をトレーニングできることが示されている。
論文参考訳（メタデータ） (2020-03-30T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。