論文の概要: Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems

• arxiv url: http://arxiv.org/abs/2401.00657v1
• Date: Mon, 1 Jan 2024 04:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 16:35:31.820996
• Title: Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems
• Title（参考訳）: 線形二次問題に対するADMMと過緩和ADMMパラメータの最適化
• Authors: Jintao Song, Wenqi Lu, Yunwen Lei, Yuchao Tang, Zhenkuan Pan, Jinming Duan
• Abstract要約: Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。 本稿では, ペナルティパラメータの値を最適化するための一般的な手法を提案し, 続いて, 最適緩和パラメータを計算するための新しいクローズドフォーム式を提案する。 次に、ランダムなインスタンス化と多様なイメージングアプリケーションを用いてパラメータ選択法を実験的に検証する。
• 参考スコア（独自算出の注目度）: 32.04687753889809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Alternating Direction Method of Multipliers (ADMM) has gained significant attention across a broad spectrum of machine learning applications. Incorporating the over-relaxation technique shows potential for enhancing the convergence rate of ADMM. However, determining optimal algorithmic parameters, including both the associated penalty and relaxation parameters, often relies on empirical approaches tailored to specific problem domains and contextual scenarios. Incorrect parameter selection can significantly hinder ADMM's convergence rate. To address this challenge, in this paper we first propose a general approach to optimize the value of penalty parameter, followed by a novel closed-form formula to compute the optimal relaxation parameter in the context of linear quadratic problems (LQPs). We then experimentally validate our parameter selection methods through random instantiations and diverse imaging applications, encompassing diffeomorphic image registration, image deblurring, and MRI reconstruction.
• Abstract（参考訳）: Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。 オーバーラックス法を取り入れることでADMMの収束率を高める可能性が示された。 しかし、関連するペナルティパラメータと緩和パラメータの両方を含む最適なアルゴリズムパラメータを決定することは、しばしば特定の問題領域や文脈シナリオに合わせた経験的アプローチに依存する。 不正確なパラメータ選択はADMMの収束率を著しく阻害する。 この課題に対処するために,我々はまずペナルティパラメータの値を最適化する一般的な手法を提案し,続いて線形二次問題(LQP)の文脈で最適緩和パラメータを計算する新しい閉形式式を提案する。 次に, 画像登録, 画像劣化, MRI再構成を含む, ランダム・インスタンス化および多様な画像応用によるパラメータ選択手法の実験的検討を行った。

関連論文リスト

• Accelerating Multi-Block Constrained Optimization Through Learning to Optimize [9.221883233960234]
  マルチブロックADMM方式の手法は、イット単位の複雑さを大幅に削減する。 MPALMは、マルチブロックADMMと類似の形式を共有し、収束を保証する。 MPALMのパフォーマンスは、ペナルティパラメータの選択に非常に敏感である。 教師付き学習を用いて,このハイパーパラメータを適応的に選択する新しいL2O手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T19:58:29Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus [0.46040036610482665]
  我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。 提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。 勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
  論文  参考訳（メタデータ） (2023-11-23T20:03:51Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization [17.553531291690025]
  非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。 本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
  論文  参考訳（メタデータ） (2021-02-10T13:55:28Z)
• Alternating Direction Method of Multipliers for Quantization [15.62692130672419]
  量子化のための乗算器の交互方向法(texttADMM-Q$)アルゴリズムの性能について検討する。 不正確な更新ルールを処理できる$texttADMM-Q$のいくつかのバリエーションを開発しています。 提案手法の有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2020-09-08T01:58:02Z)
• Variable selection for Gaussian process regression through a sparse projection [0.802904964931021]
  本稿では,ガウス過程(GP)レグレッションと統合された新しい変数選択手法を提案する。 パラメータの調整と推定の精度を,選択したベンチマーク手法を用いて評価した。
  論文  参考訳（メタデータ） (2020-08-25T01:06:10Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Multi-Task Multicriteria Hyperparameter Optimization [77.34726150561087]
  この記事は最適なハイパーパラメータを選択する問題に関する数学的定式化から始まる。 この問題を解決するMTMC法の手順を述べる。 提案手法は畳み込みニューラルネットワークを用いて画像分類問題に対して評価する。
  論文  参考訳（メタデータ） (2020-02-15T12:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。