論文の概要: Learning (With) Distributed Optimization
- arxiv url: http://arxiv.org/abs/2308.05548v1
- Date: Thu, 10 Aug 2023 12:59:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 12:28:52.694754
- Title: Learning (With) Distributed Optimization
- Title（参考訳）: 分散最適化による学習
- Authors: Aadharsh Aadhithya A, Abinesh S, Akshaya J, Jayanth M, Vishnu
Radhakrishnan, Sowmya V, Soman K.P
- Abstract要約: 本稿では,分散最適化手法の歴史的進展について概説する。
この手法は1960年代にDantzig、Wolfe、Bendersによって開発された初期の双対性に基づく手法からADMMの出現まで遡る。
- 参考スコア（独自算出の注目度）: 1.8441361547510469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides an overview of the historical progression of distributed
optimization techniques, tracing their development from early duality-based
methods pioneered by Dantzig, Wolfe, and Benders in the 1960s to the emergence
of the Augmented Lagrangian Alternating Direction Inexact Newton (ALADIN)
algorithm. The initial focus on Lagrangian relaxation for convex problems and
decomposition strategies led to the refinement of methods like the Alternating
Direction Method of Multipliers (ADMM). The resurgence of interest in
distributed optimization in the late 2000s, particularly in machine learning
and imaging, demonstrated ADMM's practical efficacy and its unifying potential.
This overview also highlights the emergence of the proximal center method and
its applications in diverse domains. Furthermore, the paper underscores the
distinctive features of ALADIN, which offers convergence guarantees for
non-convex scenarios without introducing auxiliary variables, differentiating
it from traditional augmentation techniques. In essence, this work encapsulates
the historical trajectory of distributed optimization and underscores the
promising prospects of ALADIN in addressing non-convex optimization challenges.
- Abstract（参考訳）: 本稿では,1960年代にDantzig, Wolfe, Bendersによって開発された初期の双対性に基づく手法から,Augmented Lagrangian Alternating Direction Inexact Newton (ALADIN)アルゴリズムの出現まで,分散最適化手法の歴史的進歩を概説する。
凸問題と分解戦略に対するラグランジュ緩和に最初に焦点が当てられたことは、乗算器の交互方向法(ADMM)のような手法の洗練につながった。
2000年代後半の分散最適化、特に機械学習とイメージングにおける関心の復活は、ADMMの実用的有効性とその統一可能性を示した。
この概要はまた、近位中心法とその多様な領域への応用の出現を強調している。
さらに本論文は,非凸シナリオに対して補助変数を導入することなく収束保証を提供し,従来の拡張手法と区別するaladinの特徴を強調する。
本研究は,分散最適化の歴史的軌跡を要約し,非凸最適化問題に対処する上でのALADINの期待を裏付けるものである。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Unleashing the Denoising Capability of Diffusion Prior for Solving Inverse Problems [26.134240531687453]
ProjDiffアルゴリズムは、最適化フレームワーク内で事前学習された拡散モデルの事前情報と復調能力を利用する。
画像復元タスクとソース分離および部分生成タスクの実験により、ProjDiffは様々な線形および非線形逆問題に対して優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2024-06-11T05:35:18Z) - ODE-based Learning to Optimize [28.380622776436905]
我々は、慣性系とヘッセン駆動制振方程式(ISHD)を統合した包括的枠組みを提案する。
収束・安定条件を考慮した停止時間を最小化することを目的とした新しい学習法(L2O)を定式化する。
本フレームワークの実証検証は,多種多様な最適化問題に対する広範な数値実験を通じて行われる。
論文 参考訳（メタデータ） (2024-06-04T06:39:45Z) - Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳（メタデータ） (2024-02-16T16:35:18Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳（メタデータ） (2023-08-20T04:01:30Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳（メタデータ） (2023-03-01T02:13:22Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。
我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。
提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-14T21:54:31Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。