論文の概要: Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients

• arxiv url: http://arxiv.org/abs/2308.04077v1
• Date: Tue, 8 Aug 2023 06:26:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 13:56:06.696342
• Title: Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients
• Title（参考訳）: 軌道インフォームドサロゲート勾配を用いたフェデレートゼロ階最適化
• Authors: Yao Shu, Xiaoqiang Lin, Zhongxiang Dai, Bryan Kian Hsiang Low
• Abstract要約: トラジェクトリインフォームド・サロゲート勾配(FZooS)アルゴリズムを導入し,通信効率の高いZOOを提案する。 我々のFZooSは、フェデレートされたブラックボックス対向攻撃やフェデレーションされた非微分可能なメートル法最適化といった実世界の実験によって支持される既存のアプローチよりも理論的に改善されている。
• 参考スコア（独自算出の注目度）: 31.674600866528788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated optimization, an emerging paradigm which finds wide real-world applications such as federated learning, enables multiple clients (e.g., edge devices) to collaboratively optimize a global function. The clients do not share their local datasets and typically only share their local gradients. However, the gradient information is not available in many applications of federated optimization, which hence gives rise to the paradigm of federated zeroth-order optimization (ZOO). Existing federated ZOO algorithms suffer from the limitations of query and communication inefficiency, which can be attributed to (a) their reliance on a substantial number of function queries for gradient estimation and (b) the significant disparity between their realized local updates and the intended global updates. To this end, we (a) introduce trajectory-informed gradient surrogates which is able to use the history of function queries during optimization for accurate and query-efficient gradient estimation, and (b) develop the technique of adaptive gradient correction using these gradient surrogates to mitigate the aforementioned disparity. Based on these, we propose the federated zeroth-order optimization using trajectory-informed surrogate gradients (FZooS) algorithm for query- and communication-efficient federated ZOO. Our FZooS achieves theoretical improvements over the existing approaches, which is supported by our real-world experiments such as federated black-box adversarial attack and federated non-differentiable metric optimization.
• Abstract（参考訳）: フェデレーション最適化(federated optimization)は、フェデレーション学習のような広い現実世界のアプリケーションを見つける新たなパラダイムで、複数のクライアント(エッジデバイスなど)がグローバルな機能を協調的に最適化する。 クライアントはローカルデータセットを共有せず、通常はローカル勾配のみを共有する。 しかし、勾配情報はフェデレーション最適化の多くの応用では利用できないため、フェデレーションゼロth-order optimization (zoo) のパラダイムが生まれている。 既存のZOOアルゴリズムは、クエリと通信の非効率性の限界に悩まされている。 (a)勾配推定のための相当数の関数クエリに依存すること、及び (b) 実現したローカルアップデートと意図したグローバルアップデートの間に大きな差異がある。 この目的のためには (a) 正確でクエリ効率のよい勾配推定のための最適化中に関数クエリの履歴を利用できるトラジェクトリインフォームド勾配サロゲートを導入し、 (b) これらの勾配置換体を用いた適応勾配補正法を開発し, 上記の相違を緩和する。 そこで本稿では, トラジェクトリインフォームド・サロゲート勾配 (FZooS) アルゴリズムを用いたフェデレーションゼロ階次最適化手法を提案する。 当社のfzoosは,フェデレーションブラックボックス逆攻撃やフェデレーション非微分メトリック最適化といった実世界実験によって支持される,既存のアプローチに対する理論的改善を実現しています。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。