論文の概要: Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions

• arxiv url: http://arxiv.org/abs/2208.03107v3
• Date: Thu, 24 Oct 2024 18:04:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:33:42.888695
• Title: Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions
• Title（参考訳）: 部分平滑関数に対する前方後方分割アルゴリズムの固定点自動微分
• Authors: Sheheryar Mehmood, Peter Ochs,
• Abstract要約: 近位分割アルゴリズムの固定点反復にインプリシット(ID)と自動微分(AD)を適用する。 これらのアルゴリズムによって生成される列のADが解写像の微分に収束することを示す。 FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種については、逆モードADのメモリオーバーヘッド問題を改善する。
• 参考スコア（独自算出の注目度）: 4.389150156866014
• License:
• Abstract: A large class of non-smooth practical optimization problems can be written as minimization of a sum of smooth and partly smooth functions. We examine such structured problems which also depend on a parameter vector and study the problem of differentiating its solution mapping with respect to the parameter which has far reaching applications in sensitivity analysis and parameter learning problems. Under partial smoothness and other mild assumptions, we apply Implicit (ID) and Automatic Differentiation (AD) to the fixed-point iterations of proximal splitting algorithms. We show that AD of the sequence generated by these algorithms converges (linearly under further assumptions) to the derivative of the solution mapping. For a variant of automatic differentiation, which we call Fixed-Point Automatic Differentiation (FPAD), we remedy the memory overhead problem of the Reverse Mode AD and moreover provide faster convergence theoretically. We numerically illustrate the convergence and convergence rates of AD and FPAD on Lasso and Group Lasso problems and demonstrate the working of FPAD on prototypical image denoising problems by learning the regularization term.
• Abstract（参考訳）: 非滑らかな実用的な最適化問題の大規模なクラスは、滑らかで部分的に滑らかな関数の和の最小化として記述できる。 本稿では,パラメータベクトルにも依存する構造的問題について検討し,感度解析やパラメータ学習問題において適用範囲の広いパラメータに対して解写像を微分する問題について検討する。 部分的滑らかさおよびその他の軽微な仮定の下で、近似分割アルゴリズムの固定点反復にインプリシット(ID)と自動微分(AD)を適用する。 これらのアルゴリズムによって生成される列の AD が解写像の微分に収束することを示す。 FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種に対しては、逆モードADのメモリオーバーヘッド問題を治療し、理論上より高速な収束を提供する。 本稿では,AD と FPAD の収束率と収束率を Lasso と Group Lasso の問題に対して数値的に説明し,FPAD が正規化項を学習することにより,原型画像の雑音化問題に対する作用を実証する。

関連論文リスト

• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• A Riemannian ADMM [7.128839268767137]
  問題のクラスは、機械学習と統計学において重要な応用を見出す。 本稿では,各方向のスパース計算可能ステップの反復法を提案する。
  論文  参考訳（メタデータ） (2022-11-03T22:12:18Z)
• TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization [24.784754071913255]
  適応的手法は、パラメータに依存しない方法でハエの段差を調整する能力を示した。 非凹極小問題に対する勾配上昇の電流収束解析にはパラメータの注意深くチューニングが必要である。
  論文  参考訳（メタデータ） (2022-10-31T17:05:36Z)
• Continuation Path with Linear Convergence Rate [18.405645120971496]
  経路追従アルゴリズムは、一連のサブプロブレムを順次解決する合成最適化問題によく用いられる。 本稿では,経路追従アルゴリズムの一次双対解析と,対象問題に対する線形収束率を保証するために,各サブプロブレムがどの程度正確に解けるかを決定する。 スパーシリティ誘導ペナルティによる最適化を考慮し、正規化パラメータに対するアクティブセットの変化を分析する。
  論文  参考訳（メタデータ） (2021-12-09T18:42:13Z)
• Two-Stage Stochastic Optimization via Primal-Dual Decomposition and Deep Unrolling [86.85697555068168]
  2段階のアルゴリズム最適化は、様々な工学や科学的応用において重要な役割を果たす。 特に長期変数と短期変数が制約の中で結合されている場合、アルゴリズムは効率的ではない。 PDD-SSCAが既存のソリューションよりも優れたパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-05-05T03:36:00Z)
• Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems [2.335152769484957]
  我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。 提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
  論文  参考訳（メタデータ） (2020-11-19T20:52:48Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。