論文の概要: Smoothing Methods for Automatic Differentiation Across Conditional Branches

• arxiv url: http://arxiv.org/abs/2310.03585v2
• Date: Thu, 4 Jan 2024 14:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 17:05:35.360041
• Title: Smoothing Methods for Automatic Differentiation Across Conditional Branches
• Title（参考訳）: 条件分岐間の自動微分のための平滑化法
• Authors: Justin N. Kreikemeyer and Philipp Andelfinger
• Abstract要約: スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。 SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。 本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programs involving discontinuities introduced by control flow constructs such as conditional branches pose challenges to mathematical optimization methods that assume a degree of smoothness in the objective function's response surface. Smooth interpretation (SI) is a form of abstract interpretation that approximates the convolution of a program's output with a Gaussian kernel, thus smoothing its output in a principled manner. Here, we combine SI with automatic differentiation (AD) to efficiently compute gradients of smoothed programs. In contrast to AD across a regular program execution, these gradients also capture the effects of alternative control flow paths. The combination of SI with AD enables the direct gradient-based parameter synthesis for branching programs, allowing for instance the calibration of simulation models or their combination with neural network models in machine learning pipelines. We detail the effects of the approximations made for tractability in SI and propose a novel Monte Carlo estimator that avoids the underlying assumptions by estimating the smoothed programs' gradients through a combination of AD and sampling. Using DiscoGrad, our tool for automatically translating simple C++ programs to a smooth differentiable form, we perform an extensive evaluation. We compare the combination of SI with AD and our Monte Carlo estimator to existing gradient-free and stochastic methods on four non-trivial and originally discontinuous problems ranging from classical simulation-based optimization to neural network-driven control. While the optimization progress with the SI-based estimator depends on the complexity of the program's control flow, our Monte Carlo estimator is competitive in all problems, exhibiting the fastest convergence by a substantial margin in our highest-dimensional problem.
• Abstract（参考訳）: 制御フロー構造によって導入された不連続性を含むプログラムは、目的関数の応答面の滑らかさを仮定する数学的最適化法に挑戦する。 スムース解釈(Smooth interpretation, SI)は、プログラムの出力とガウス核との畳み込みを近似した抽象解釈の形式であり、その出力を原則的に滑らかにする。 本稿では,siと自動微分(ad)を組み合わせることで,プログラムの勾配を効率的に計算する。 通常のプログラム実行中のadとは対照的に、これらの勾配は代替制御フローパスの効果も捉えている。 siとadの組み合わせにより、分岐プログラムの直接勾配に基づくパラメータ合成が可能になり、シミュレーションモデルのキャリブレーションや、機械学習パイプラインにおけるニューラルネットワークモデルとの結合が可能になる。 SIにおけるトラクタビリティに対する近似の効果を詳述し、ADとサンプリングの組み合わせによる滑らかなプログラムの勾配を推定することにより、基礎となる仮定を回避できるモンテカルロ推定器を提案する。 単純なc++プログラムをスムーズな微分可能な形式に自動翻訳するツールであるdiscogradを使用することで,広範な評価を行う。 従来のシミュレーションベース最適化からニューラルネットワーク駆動制御まで,非自明で元来不連続な4つの問題に対して,SIとADとモンテカルロ推定器の組み合わせを,既存の勾配のない確率的手法と比較した。 SIに基づく推定器による最適化の進行は、プログラムの制御フローの複雑さに依存するが、モンテカルロ推定器は、全ての問題において競争力があり、最も高い次元問題におけるかなりのマージンによる最速の収束を示す。

関連論文リスト

• A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
  最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。 既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
  論文  参考訳（メタデータ） (2024-10-07T16:16:53Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Differentiable Agent-Based Simulation for Gradient-Guided Simulation-Based Optimization [0.0]
  勾配推定法は局所最適化に向けて最適化を行うのに利用できる。 高入力次元の信号タイミング最適化問題では、勾配に基づく手法の方がかなり優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-23T11:58:21Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。