論文の概要: SimFBO: Towards Simple, Flexible and Communication-efficient Federated Bilevel Learning

• arxiv url: http://arxiv.org/abs/2305.19442v1
• Date: Tue, 30 May 2023 22:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:16:28.023972
• Title: SimFBO: Towards Simple, Flexible and Communication-efficient Federated Bilevel Learning
• Title（参考訳）: SimFBO: シンプルでフレキシブルでコミュニケーション効率の良い双方向学習を目指して
• Authors: Yifan Yang, Peiyao Xiao and Kaiyi Ji
• Abstract要約: Federated Bilevel Optimization (FBO)は、機械学習とエッジコンピューティングにおいて、最近大きな可能性を示している。 我々は,サブループなしで実装が容易な,シンプルで柔軟なFBOフレームワークSimFBOを提案する。 我々は,SimFBOとShroFBOが,部分的なクライアント参加とクライアントサンプリングを置き換えることなく,線形収束高速化を実現することを示す。
• 参考スコア（独自算出の注目度）: 25.966090115197655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated bilevel optimization (FBO) has shown great potential recently in machine learning and edge computing due to the emerging nested optimization structure in meta-learning, fine-tuning, hyperparameter tuning, etc. However, existing FBO algorithms often involve complicated computations and require multiple sub-loops per iteration, each of which contains a number of communication rounds. In this paper, we propose a simple and flexible FBO framework named SimFBO, which is easy to implement without sub-loops, and includes a generalized server-side aggregation and update for improving communication efficiency. We further propose System-level heterogeneity robust FBO (ShroFBO) as a variant of SimFBO with stronger resilience to heterogeneous local computation. We show that SimFBO and ShroFBO provably achieve a linear convergence speedup with partial client participation and client sampling without replacement, as well as improved sample and communication complexities. Experiments demonstrate the effectiveness of the proposed methods over existing FBO algorithms.
• Abstract（参考訳）: fbo(federated bilevel optimization)は、メタラーニングや微調整、ハイパーパラメータチューニングといった新たなネスト最適化構造によって、マシンラーニングやエッジコンピューティングにおいて、近年大きな可能性を秘めている。 しかし、既存のFBOアルゴリズムは複雑な計算を伴い、1イテレーションごとに複数のサブループが必要であり、それぞれが複数の通信ラウンドを含む。 本稿では,サブループなしで実装が容易で,汎用的なサーバ側アグリゲーションと通信効率向上のための更新を含む,シンプルで柔軟なFBOフレームワークSimFBOを提案する。 さらに,不均一局所計算に対する強いレジリエンスを持つSimFBOの変種として,システムレベルの不均質FBO(ShroFBO)を提案する。 我々は,SimFBO と ShroFBO がリニアコンバージェンス・スピードアップを実現し,部分的なクライアント参加とクライアントサンプリングを置き換えることなく実現し,サンプルと通信の複雑さを改善したことを示す。 実験は既存のfboアルゴリズムに対する提案手法の有効性を実証する。

関連論文リスト

• Bayesian Federated Model Compression for Communication and Computation Efficiency [22.246573195596657]
  分散化ターボ変分ベイズ推定フレームワーク(D-Turbo-VBI)を提案する。 メッセージパッシングとVBIを分散化ターボフレームワークと慎重に統合することにより、D-Turbo-VBIアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-11T07:51:30Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• BOIS: Bayesian Optimization of Interconnected Systems [0.0]
  BOにおける複合関数の効率的な利用を可能にする新しいパラダイムを提案する。 この単純なアプローチ(BOISと呼ぶ)が構造的知識の活用を可能にしていることを示す。 以上の結果から,BOISが性能向上を実現し,複合関数の統計を正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2023-11-19T06:44:13Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Fitted Value Iteration Methods for Bicausal Optimal Transport [4.459996749171579]
  We developed a fit value iteration (FVI) method to compute bicausal optimal transport (OT)。 動的プログラミングの定式化に基づいて、FVIは関数クラスを採用し、二元関数の値関数を近似する。 本研究では, 適切な構造を持つ多層ニューラルネットワークが, サンプル複雑性証明に必要な重要な仮定を満たすことを実証する。
  論文  参考訳（メタデータ） (2023-06-22T03:55:36Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization [14.579475552088692]
  非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。 特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:04Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
  本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。 通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-20T09:42:17Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。