論文の概要: Fractional Order Distributed Optimization

• arxiv url: http://arxiv.org/abs/2412.02546v1
• Date: Tue, 03 Dec 2024 16:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:15.709469
• Title: Fractional Order Distributed Optimization
• Title（参考訳）: 分数次分散最適化
• Authors: Andrei Lixandru, Marcel van Gerven, Sergio Pequito,
• Abstract要約: FrODOは、収束性を高めるために、分数次メモリ項を組み込んだ理論的な基盤となるフレームワークである。 その結果、FrODOは、不条件問題に対するベースラインよりも最大で4倍の収束を実現し、フェデレートニューラルネットワークトレーニングでは2～3倍の高速化を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 1.2597747768235847
• License:
• Abstract: Distributed optimization is fundamental to modern machine learning applications like federated learning, but existing methods often struggle with ill-conditioned problems and face stability-versus-speed tradeoffs. We introduce fractional order distributed optimization (FrODO); a theoretically-grounded framework that incorporates fractional-order memory terms to enhance convergence properties in challenging optimization landscapes. Our approach achieves provable linear convergence for any strongly connected network. Through empirical validation, our results suggest that FrODO achieves up to 4 times faster convergence versus baselines on ill-conditioned problems and 2-3 times speedup in federated neural network training, while maintaining stability and theoretical guarantees.
• Abstract（参考訳）: 分散最適化は、フェデレートドラーニングのような現代の機械学習アプリケーションには基本的だが、既存の手法は、条件の悪い問題に悩まされ、安定性と速度のトレードオフに直面していることが多い。 分数次分散最適化(FrODO: fractional order distributed optimization)は、分数次メモリ項を組み込んだ理論的な基盤となるフレームワークで、最適化に挑戦するランドスケープにおいて収束性を向上する。 提案手法は、任意の強結合ネットワークに対して証明可能な線形収束を実現する。 実験による検証の結果,FrODOは,フェデレーションニューラルネットワークトレーニングにおいて,不条件問題に対するベースラインよりも最大4倍の収束と2～3倍の高速化を実現し,安定性と理論的保証を維持したことが示唆された。

関連論文リスト

• Unraveling Zeroth-Order Optimization through the Lens of Low-Dimensional Structured Perturbations [33.38543010618118]
  Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。 我々は高次元性が主要なボトルネックであることを示し、構造的摂動が勾配雑音を減らし収束を加速する方法を説明するために、テクティットとテクティット有効摂動の概念を導入する。
  論文  参考訳（メタデータ） (2025-01-31T12:46:04Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network [9.48424754175943]
  本稿では、構造化ニューラルネットワークのトレーニングのための正規化適応モーメントデュアル平均化(RAMDA)を提案する。 定常収束点における正則化器によって誘導される理想構造が得られることを示す。 この構造は収束点付近で局所的に最適であるため、RAMDAは可能な限り最高の構造が得られることが保証される。
  論文  参考訳（メタデータ） (2024-03-21T13:43:49Z)
• MUSIC: Accelerated Convergence for Distributed Optimization With Inexact and Exact Methods [6.800113478497425]
  本稿では,MUSICと名づけられた高速化されたフレームワークを提案し,各エージェントが複数のローカル更新と1つの組み合わせをイテレーション毎に実行できるようにする。 そこで我々は, 線形収束を高速化し, 通信効率を向上する2つの新しいアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-03-05T02:02:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Domain Adversarial Training: A Game Perspective [80.3821370633883]
  本稿では,ゲーム理論の観点から,ドメイン・アドバイザ・トレーニングにおける最適解を定義する。 ドメイン・アドバイザリ・トレーニングにおける降下は、グラデーションの収束保証に違反し、しばしば転送性能を損なう可能性があることを示す。 実装は簡単で、追加のパラメータが不要で、あらゆるドメイン・アドバイザリ・フレームワークにプラグインすることができます。
  論文  参考訳（メタデータ） (2022-02-10T22:17:30Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
  本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。 これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-05-11T16:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。