論文の概要: One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization

• arxiv url: http://arxiv.org/abs/2210.16790v1
• Date: Sun, 30 Oct 2022 09:39:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 19:57:57.496462
• Title: One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
• Title（参考訳）: 分散オンライン凸とサブモジュラ最適化のための一勾配frank-wolfe
• Authors: Tuan-Anh Nguyen, Nguyen Kim Thang, Denis Trystram
• Abstract要約: コンベックスおよび連続DR-サブモジュラー最適化のための遠分散オンラインアルゴリズムを提案する。 本アルゴリズムは,集中型オフライン環境における性能保証に匹敵する性能保証を実現する。
• 参考スコア（独自算出の注目度）: 10.828616610785524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized learning has been studied intensively in recent years motivated by its wide applications in the context of federated learning. The majority of previous research focuses on the offline setting in which the objective function is static. However, the offline setting becomes unrealistic in numerous machine learning applications that witness the change of massive data. In this paper, we propose \emph{decentralized online} algorithm for convex and continuous DR-submodular optimization, two classes of functions that are present in a variety of machine learning problems. Our algorithms achieve performance guarantees comparable to those in the centralized offline setting. Moreover, on average, each participant performs only a \emph{single} gradient computation per time step. Subsequently, we extend our algorithms to the bandit setting. Finally, we illustrate the competitive performance of our algorithms in real-world experiments.
• Abstract（参考訳）: 近年、分散学習は、連合学習の文脈における幅広い応用に動機づけられて、集中的に研究されている。 これまでの研究の大半は、目的関数が静的なオフライン設定に焦点を当てていた。 しかし、大量のデータの変化を目撃する多くの機械学習アプリケーションでは、オフライン設定は非現実的になる。 本稿では,様々な機械学習問題に存在する2つの関数のクラスである凸および連続的なdr-サブモジュラー最適化のための \emph{decentralized online}アルゴリズムを提案する。 私たちのアルゴリズムは、集中型オフライン設定と同等のパフォーマンス保証を実現します。 さらに、各参加者は平均して、時間ステップごとに \emph{single} 勾配計算のみを実行する。 その後、アルゴリズムをバンディット設定に拡張します。 最後に,実環境実験におけるアルゴリズムの競合性能について述べる。

関連論文リスト

• Multi-Objective Optimization Using Adaptive Distributed Reinforcement Learning [8.471466670802815]
  本稿では,多目的・マルチエージェント強化学習(MARL)アルゴリズムを提案する。 我々はエッジクラウドコンピューティングを用いたITS環境でアルゴリズムをテストする。 また,本アルゴリズムは,モジュール化および非同期オンライントレーニング手法により,様々な実用上の問題にも対処する。
  論文  参考訳（メタデータ） (2024-03-13T18:05:16Z)
• Efficient Methods for Non-stationary Online Learning [67.3300478545554]
  本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。 本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• Online Attentive Kernel-Based Temporal Difference Learning [13.94346725929798]
  オンライン強化学習(RL)はその高速学習能力とデータ効率の向上により注目されている。 オンラインRLは、しばしば複雑な値関数近似(VFA)と破滅的な干渉に悩まされる。 2時間スケール最適化を用いたオンラインカーネルに基づく時間差分法(OAKTD)を提案する。
  論文  参考訳（メタデータ） (2022-01-22T14:47:10Z)
• An Improved Reinforcement Learning Algorithm for Learning to Branch [12.27934038849211]
  ブランチ・アンド・バウンド(B&B)は最適化の一般的な方法である。 本稿では,新しい強化学習に基づくB&Bアルゴリズムを提案する。 提案アルゴリズムの性能を3つの公開研究ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-01-17T04:50:11Z)
• Boosting for Online Convex Optimization [64.15578413206715]
  多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。 弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。 ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
  論文  参考訳（メタデータ） (2021-02-18T12:30:49Z)
• Multi-consensus Decentralized Accelerated Gradient Descent [31.76773130271547]
  分散凸最適化問題は、大規模機械学習、センサーネットワーク、制御理論に幅広い応用がある。 本稿では,最適な計算複雑性とほぼ最適な通信複雑性を実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-02T11:10:32Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。