論文の概要: Federated Communication-Efficient Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2410.16398v1
• Date: Mon, 21 Oct 2024 18:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:27.801042
• Title: Federated Communication-Efficient Multi-Objective Optimization
• Title（参考訳）: フェデレーション通信効率の良い多目的最適化
• Authors: Baris Askin, Pranay Sharma, Gauri Joshi, Carlee Joe-Wong,
• Abstract要約: 本稿では,従来の手法と比較して誤り収束性能を向上させる新しいFMOOアルゴリズムであるFedCMOOを提案する。 また,FedCMOOの変種を導入し,最終目標値の所望の比率で目的値の勾配を指定できるようにした。
• 参考スコア（独自算出の注目度）: 27.492821176616815
• License:
• Abstract: We study a federated version of multi-objective optimization (MOO), where a single model is trained to optimize multiple objective functions. MOO has been extensively studied in the centralized setting but is less explored in federated or distributed settings. We propose FedCMOO, a novel communication-efficient federated multi-objective optimization (FMOO) algorithm that improves the error convergence performance of the model compared to existing approaches. Unlike prior works, the communication cost of FedCMOO does not scale with the number of objectives, as each client sends a single aggregated gradient, obtained using randomized SVD (singular value decomposition), to the central server. We provide a convergence analysis of the proposed method for smooth non-convex objective functions under milder assumptions than in prior work. In addition, we introduce a variant of FedCMOO that allows users to specify a preference over the objectives in terms of a desired ratio of the final objective values. Through extensive experiments, we demonstrate the superiority of our proposed method over baseline approaches.
• Abstract（参考訳）: 多目的最適化(MOO)のフェデレーションバージョンについて検討し、複数の目的関数を最適化するために単一のモデルを訓練する。 MOOは中央集権的な環境で広く研究されてきたが、フェデレーションや分散環境では研究されていない。 本稿では,従来の手法と比較して誤り収束性能を向上するFMOOアルゴリズムであるFedCMOOを提案する。 従来の作業とは異なり、FedCMOOの通信コストは、各クライアントがランダム化SVD(singular value decomposition)を使用して取得した単一の集約勾配を中央サーバに送信するので、目的数とともにスケールしない。 本研究では,従来の作業よりも軽度な仮定下での非凸目的関数のスムーズな解法について収束解析を行う。 また,FedCMOOの変種を導入し,最終目標値の所望の比率で,目的に対する嗜好を指定できるようにした。 大規模な実験を通じて,提案手法がベースラインアプローチよりも優れていることを示す。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Joint Entropy Search for Multi-objective Bayesian Optimization [0.0]
  本稿では,統合エントロピー探索(Joint Entropy Search)と呼ばれるBOのための情報理論獲得関数を提案する。 本稿では, ハイパーボリュームとその重み付き変種の観点から, 合成および実世界の諸問題に対するこの新しいアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-06T13:19:08Z)
• R-MBO: A Multi-surrogate Approach for Preference Incorporation in Multi-objective Bayesian Optimisation [0.0]
  本稿では,多目的BOにおける意思決定者の嗜好として,目的関数を目的関数値に組み込むための,a-priori Multi-surrogateアプローチを提案する。 ベンチマークと実世界の最適化問題に対する既存モノ代理手法との比較は,提案手法の可能性を示している。
  論文  参考訳（メタデータ） (2022-04-27T19:58:26Z)
• A Federated Data-Driven Evolutionary Algorithm for Expensive Multi/Many-objective Optimization [11.92436948211501]
  本稿では,フェデレートされたデータ駆動型進化的多目的/多目的最適化アルゴリズムを提案する。 複数のクライアントが協調してラジアル・ベーシ関数ネットワークをグローバルなサロゲートとしてトレーニングできるように、サロゲート構築のためのフェデレートラーニングを活用している。 グローバルサロゲートを用いて目的値を近似し、近似された目標値の不確かさレベルを推定するために、中央サーバに新たなフェデレーション獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-06-22T22:33:24Z)
• Multi-Fidelity Multi-Objective Bayesian Optimization: An Output Space Entropy Search Approach [44.25245545568633]
  複数目的のブラックボックス最適化の新たな課題を多要素関数評価を用いて検討する。 いくつかの総合的および実世界のベンチマーク問題に対する実験により、MF-OSEMOは両者の近似により、最先端の単一忠実度アルゴリズムよりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2020-11-02T06:59:04Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。