論文の概要: Accelerating Multi-Block Constrained Optimization Through Learning to Optimize

• arxiv url: http://arxiv.org/abs/2409.17320v1
• Date: Wed, 25 Sep 2024 19:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-30 12:15:34.999395
• Title: Accelerating Multi-Block Constrained Optimization Through Learning to Optimize
• Title（参考訳）: 最適化学習によるマルチクロック制約最適化の高速化
• Authors: Ling Liang, Cameron Austin, Haizhao Yang,
• Abstract要約: マルチブロックADMM方式の手法は、イット単位の複雑さを大幅に削減する。 MPALMは、マルチブロックADMMと類似の形式を共有し、収束を保証する。 MPALMのパフォーマンスは、ペナルティパラメータの選択に非常に敏感である。 教師付き学習を用いて,このハイパーパラメータを適応的に選択する新しいL2O手法を提案する。
• 参考スコア（独自算出の注目度）: 9.221883233960234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to Optimize (L2O) approaches, including algorithm unrolling, plug-and-play methods, and hyperparameter learning, have garnered significant attention and have been successfully applied to the Alternating Direction Method of Multipliers (ADMM) and its variants. However, the natural extension of L2O to multi-block ADMM-type methods remains largely unexplored. Such an extension is critical, as multi-block methods leverage the separable structure of optimization problems, offering substantial reductions in per-iteration complexity. Given that classical multi-block ADMM does not guarantee convergence, the Majorized Proximal Augmented Lagrangian Method (MPALM), which shares a similar form with multi-block ADMM and ensures convergence, is more suitable in this setting. Despite its theoretical advantages, MPALM's performance is highly sensitive to the choice of penalty parameters. To address this limitation, we propose a novel L2O approach that adaptively selects this hyperparameter using supervised learning. We demonstrate the versatility and effectiveness of our method by applying it to the Lasso problem and the optimal transport problem. Our numerical results show that the proposed framework outperforms popular alternatives. Given its applicability to generic linearly constrained composite optimization problems, this work opens the door to a wide range of potential real-world applications.
• Abstract（参考訳）: アルゴリズムのアンローリングやプラグアンドプレイ法,ハイパーパラメータ学習など,L2O(Learning to Optimize)アプローチが注目され,ALMM(Alternating Direction Method of Multipliers)とその変種への適応に成功している。 しかし、L2O のマルチブロック ADMM 型への自然な拡張は、まだ明らかにされていない。 このような拡張は、多重ブロック法が最適化問題の分離可能な構造を利用しており、イテレーション毎の複雑性を大幅に低減しているため、非常に重要である。 古典的マルチブロックADMMは収束を保証しないので、マルチブロックADMMと類似の形式を共有し、収束を保証するMajorized Proximal Augmented Lagrangian Method (MPALM) がより適している。 理論上の優位性にもかかわらず、MPALMのパフォーマンスはペナルティパラメータの選択に非常に敏感である。 この制限に対処するために、教師付き学習を用いて適応的にこのハイパーパラメータを選択する新しいL2Oアプローチを提案する。 本稿では,ラッソ問題と最適輸送問題に適用することで,本手法の有効性と有効性を示す。 以上の結果から,提案手法は一般的な代替案よりも優れていたことが示唆された。 一般線形制約付き複合最適化問題に適用可能であることを考えると、この研究は様々な潜在的な実世界の応用への扉を開くことになる。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems [32.04687753889809]
  Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。 本稿では, ペナルティパラメータの値を最適化するための一般的な手法を提案し, 続いて, 最適緩和パラメータを計算するための新しいクローズドフォーム式を提案する。 次に、ランダムなインスタンス化と多様なイメージングアプリケーションを用いてパラメータ選択法を実験的に検証する。
  論文  参考訳（メタデータ） (2024-01-01T04:01:40Z)
• Multi-Agent Deep Reinforcement Learning in Vehicular OCC [14.685237010856953]
  我々は車載OCCにおけるスペクトル効率最適化手法を提案する。 我々は最適化問題をマルコフ決定プロセス(MDP)としてモデル化し、オンラインで適用可能なソリューションの利用を可能にする。 提案手法の性能を広範囲なシミュレーションにより検証し,提案手法の様々な変種とランダムな手法との比較を行った。
  論文  参考訳（メタデータ） (2022-05-05T14:25:54Z)
• A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
  乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。 本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。 提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-12-22T01:55:24Z)
• A Reinforcement Learning Approach to Parameter Selection for Distributed Optimization in Power Systems [1.1199585259018459]
  本稿では,ADMMによるAC最適電力流(ACOPF)問題に対する適応的ペナルティパラメータ選択ポリシーを開発する。 我々のRLポリシは一般化可能性の保証を示し、見知らぬロードスキームの下では良好に機能し、ラインやジェネレータの目に見えない損失の下でも機能することを示す。 この研究は、パワーシステムアプリケーションのためのADMMにおけるパラメータ選択にRLを使用するための概念実証を提供する。
  論文  参考訳（メタデータ） (2021-10-22T18:17:32Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization [17.553531291690025]
  非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。 本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
  論文  参考訳（メタデータ） (2021-02-10T13:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。