論文の概要: Automatic differentiation of nonsmooth iterative algorithms

• arxiv url: http://arxiv.org/abs/2206.00457v1
• Date: Tue, 31 May 2022 07:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:40:33.024626
• Title: Automatic differentiation of nonsmooth iterative algorithms
• Title（参考訳）: 非滑らか反復アルゴリズムの自動微分
• Authors: J\'er\^ome Bolte (TSE), Edouard Pauwels (IRIT), Samuel Vaiter (JAD)
• Abstract要約: 適切な非膨張条件下での非平滑ピギーバック自動分化(AD)について検討した。 非平滑なピギーバック反復の引き付け集合は、保守的枠組みに残る固定点の集合値であることを示す。 本研究は,Multiple-Ball法と同様に,フォワード・バックワード,ダグラス・ラフフォード,オルタネート・ディレクト・オブ・マルチプライアのアルゴリズムを用いたパラメトリック凸最適化問題について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiation along algorithms, i.e., piggyback propagation of derivatives, is now routinely used to differentiate iterative solvers in differentiable programming. Asymptotics is well understood for many smooth problems but the nondifferentiable case is hardly considered. Is there a limiting object for nonsmooth piggyback automatic differentiation (AD)? Does it have any variational meaning and can it be used effectively in machine learning? Is there a connection with classical derivative? All these questions are addressed under appropriate nonexpansivity conditions in the framework of conservative derivatives which has proved useful in understanding nonsmooth AD. For nonsmooth piggyback iterations, we characterize the attractor set of nonsmooth piggyback iterations as a set-valued fixed point which remains in the conservative framework. This has various consequences and in particular almost everywhere convergence of classical derivatives. Our results are illustrated on parametric convex optimization problems with forward-backward, Douglas-Rachford and Alternating Direction of Multiplier algorithms as well as the Heavy-Ball method.
• Abstract（参考訳）: アルゴリズムによる微分(すなわち微分のピギーバック伝播)は、微分プログラミングにおける反復解法を区別するために日常的に使用される。 漸近性は多くの滑らかな問題に対してよく理解されているが、微分不可能なケースはほとんど考慮されていない。 非smooth piggyback automatic differentiation (ad) の制限対象はあるか? バリエーションのある意味を持っているか、機械学習で効果的に使えるのか? 古典的微分と関係がありますか。 これらの問題は全て、非滑らかなADを理解するのに有用であることが証明された保守微分の枠組みにおける適切な非指数条件の下で解決される。 非滑らかなピギーバック反復に対しては、非滑らかなピギーバック反復のアトラクター集合を、保守的な枠組みに残る集合値の固定点として特徴づける。 これは様々な結果をもたらし、特に古典微分の至るところで収束する。 本研究は, 逆向き, ダグラス・ラッチフォード, および乗算アルゴリズムの交互方向, 重球法によるパラメトリック凸最適化問題について述べる。

関連論文リスト

• Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates [34.81849268839475]
  パラメトリックな非微分可縮写像の固定点の微分を効率的に計算する問題について検討する。 我々は、反復的分化(ITD)と近似的暗黙的分化(AID)の2つの一般的なアプローチを分析する。 我々はNSIDの収束率を確立し、スムーズな環境での最良の利用率を含む。
  論文  参考訳（メタデータ） (2024-03-18T11:37:53Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Alternating Differentiation for Optimization Layers [133.2668019610731]
  そこで我々は,最適化問題を識別するAlternating Differentiation (Alt-Diff) という新しいフレームワークを開発した。 Alt-Diff はヤコビ行列の次元を特に大規模制約のある最適化のために著しく減少させることを示す。 また,Alt-Diffを切断して計算速度をさらに高速化することを提案する。
  論文  参考訳（メタデータ） (2022-10-03T11:32:13Z)
• Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions [4.389150156866014]
  近位分割アルゴリズムの固定点反復にインプリシット(ID)と自動微分(AD)を適用する。 これらのアルゴリズムによって生成される列のADが解写像の微分に収束することを示す。 FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種については、逆モードADのメモリオーバーヘッド問題を改善する。
  論文  参考訳（メタデータ） (2022-08-05T11:27:55Z)
• Gradient flows and randomised thresholding: sparse inversion and classification [0.0]
  スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。 分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。 標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T09:21:14Z)
• Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
  ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。 この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。 例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
  論文  参考訳（メタデータ） (2021-06-08T13:59:47Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• On Correctness of Automatic Differentiation for Non-Differentiable Functions [14.222887950206658]
  非微分可能関数に適用した場合、任意の形式的な意味でオートディフ系が正しいことを示す。 インテンショナル微分と呼ばれる新しいタイプの導関数を提案し、これらの導関数が常に存在し、ほぼ全ての入力に対して標準導関数と一致することを証明する。 このようにして、微分不可能関数に適用された自己微分システムの正当性を正式に確立する。
  論文  参考訳（メタデータ） (2020-06-12T01:57:13Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。