論文の概要: Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions

• arxiv url: http://arxiv.org/abs/2208.03107v1
• Date: Fri, 5 Aug 2022 11:27:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 13:17:24.739545
• Title: Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions
• Title（参考訳）: 部分滑らかな関数に対する前方後方分割アルゴリズムの固定点自動微分
• Authors: Sheheryar Mehmood and Peter Ochs
• Abstract要約: 部分的滑らかさの下では、自動微分は解写像の微分に収束することを示す。 ラッソ問題とグループラッソ問題に対するADとFPADの収束率と収束率を数値的に説明する。
• 参考スコア（独自算出の注目度）: 8.680676599607123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large class of non-smooth practical optimization problems can be written as minimization of a sum of smooth and partly smooth functions. We consider such structured problems which also depend on a parameter vector and study the problem of differentiating its solution mapping with respect to the parameter which has far reaching applications in sensitivity analysis and parameter learning optmization problems. We show that under partial smoothness and other mild assumptions, Automatic Differentiation (AD) of the sequence generated by proximal splitting algorithms converges to the derivative of the solution mapping. For a variant of automatic differentiation, which we call Fixed-Point Automatic Differentiation (FPAD), we remedy the memory overhead problem of the Reverse Mode AD and moreover provide faster convergence theoretically. We numerically illustrate the convergence and convergence rates of AD and FPAD on Lasso and Group Lasso problems and demonstrate the working of FPAD on prototypical practical image denoising problem by learning the regularization term.
• Abstract（参考訳）: 非滑らかな実用的な最適化問題の大規模なクラスは、滑らかで部分的に滑らかな関数の和の最小化として記述できる。 パラメータベクトルにも依存するそのような構造的問題を考察し,感度解析やパラメータ学習最適化問題において広く応用されてきたパラメータに対して,その解写像を微分する問題を考察する。 部分的滑らかさおよびその他の軽微な仮定の下で、近似分割アルゴリズムによって生成される配列の自動微分(AD)が解写像の微分に収束することを示す。 FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種については、逆モードADのメモリオーバーヘッド問題に対処し、理論上より高速な収束を提供する。 本稿では,ADおよびFPADのLassoおよびGroup Lasso問題への収束率と収束率を数値的に説明し,FPADが正規化項を学習することにより,原典型的実用的な画像復調問題に作用することを示す。

関連論文リスト

• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• A Riemannian ADMM [7.128839268767137]
  問題のクラスは、機械学習と統計学において重要な応用を見出す。 本稿では,各方向のスパース計算可能ステップの反復法を提案する。
  論文  参考訳（メタデータ） (2022-11-03T22:12:18Z)
• TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization [24.784754071913255]
  適応的手法は、パラメータに依存しない方法でハエの段差を調整する能力を示した。 非凹極小問題に対する勾配上昇の電流収束解析にはパラメータの注意深くチューニングが必要である。
  論文  参考訳（メタデータ） (2022-10-31T17:05:36Z)
• Closed-Form Diffeomorphic Transformations for Time Series Alignment [0.0]
  本稿では, ODE 解に対する閉形式表現とその勾配を, 連続的なピースワイド・ファイン速度関数の下で表現する。 その結果,効率と精度の両面で有意な改善が認められた。
  論文  参考訳（メタデータ） (2022-06-16T12:02:12Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems [2.335152769484957]
  我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。 提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
  論文  参考訳（メタデータ） (2020-11-19T20:52:48Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion and Strong Solutions to Variational Inequalities [14.848525762485872]
  非拡張写像、単調リプシッツ作用素、近位写像の間の接続を利用して、単調包含問題に対する準最適解を得る。 これらの結果は、変分不等式問題に対する強い解の近似、凸凸凹 min-max 最適化問題の近似、および min-max 最適化問題における勾配のノルムの最小化について、ほぼ最適に保証される。
  論文  参考訳（メタデータ） (2020-02-20T17:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。