論文の概要: Learning (With) Distributed Optimization
- arxiv url: http://arxiv.org/abs/2308.05548v1
- Date: Thu, 10 Aug 2023 12:59:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 12:28:52.694754
- Title: Learning (With) Distributed Optimization
- Title(参考訳): 分散最適化による学習
- Authors: Aadharsh Aadhithya A, Abinesh S, Akshaya J, Jayanth M, Vishnu
Radhakrishnan, Sowmya V, Soman K.P
- Abstract要約: 本稿では,分散最適化手法の歴史的進展について概説する。
この手法は1960年代にDantzig、Wolfe、Bendersによって開発された初期の双対性に基づく手法からADMMの出現まで遡る。
- 参考スコア(独自算出の注目度): 1.8441361547510469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides an overview of the historical progression of distributed
optimization techniques, tracing their development from early duality-based
methods pioneered by Dantzig, Wolfe, and Benders in the 1960s to the emergence
of the Augmented Lagrangian Alternating Direction Inexact Newton (ALADIN)
algorithm. The initial focus on Lagrangian relaxation for convex problems and
decomposition strategies led to the refinement of methods like the Alternating
Direction Method of Multipliers (ADMM). The resurgence of interest in
distributed optimization in the late 2000s, particularly in machine learning
and imaging, demonstrated ADMM's practical efficacy and its unifying potential.
This overview also highlights the emergence of the proximal center method and
its applications in diverse domains. Furthermore, the paper underscores the
distinctive features of ALADIN, which offers convergence guarantees for
non-convex scenarios without introducing auxiliary variables, differentiating
it from traditional augmentation techniques. In essence, this work encapsulates
the historical trajectory of distributed optimization and underscores the
promising prospects of ALADIN in addressing non-convex optimization challenges.
- Abstract(参考訳): 本稿では,1960年代にDantzig, Wolfe, Bendersによって開発された初期の双対性に基づく手法から,Augmented Lagrangian Alternating Direction Inexact Newton (ALADIN)アルゴリズムの出現まで,分散最適化手法の歴史的進歩を概説する。
凸問題と分解戦略に対するラグランジュ緩和に最初に焦点が当てられたことは、乗算器の交互方向法(ADMM)のような手法の洗練につながった。
2000年代後半の分散最適化、特に機械学習とイメージングにおける関心の復活は、ADMMの実用的有効性とその統一可能性を示した。
この概要はまた、近位中心法とその多様な領域への応用の出現を強調している。
さらに本論文は,非凸シナリオに対して補助変数を導入することなく収束保証を提供し,従来の拡張手法と区別するaladinの特徴を強調する。
本研究は,分散最適化の歴史的軌跡を要約し,非凸最適化問題に対処する上でのALADINの期待を裏付けるものである。
関連論文リスト
- Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳(メタデータ) (2024-02-16T16:35:18Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳(メタデータ) (2023-08-20T04:01:30Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳(メタデータ) (2023-03-01T02:13:22Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。
我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。
提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-14T21:54:31Z) - Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps [0.0]
本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。
線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
論文 参考訳(メタデータ) (2021-12-20T16:12:54Z) - High-Dimensional Bayesian Optimisation with Variational Autoencoders and
Deep Metric Learning [119.91679702854499]
本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。
このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。
実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
論文 参考訳(メタデータ) (2021-06-07T13:35:47Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z) - Sparse Gaussian Processes Revisited: Bayesian Approaches to
Inducing-Variable Approximations [27.43948386608]
変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。
この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
論文 参考訳(メタデータ) (2020-03-06T08:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。