論文の概要: Automatic Differentiation of Programs with Discrete Randomness

• arxiv url: http://arxiv.org/abs/2210.08572v2
• Date: Tue, 18 Oct 2022 15:36:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 10:48:59.190630
• Title: Automatic Differentiation of Programs with Discrete Randomness
• Title（参考訳）: 離散ランダム性を持つプログラムの自動微分
• Authors: Gaurav Arya, Moritz Schauer, Frank Sch\"afer, Chris Rackauckas
• Abstract要約: そこで本研究では,オリジナルプログラムの期待の導出を期待するプログラムを生成するための,新しい再編成手法を開発した。 本研究では,離散時間マルコフ連鎖の非偏差前モードAD,コンウェイのゲーム・オブ・ライフのようなエージェントベースモデル,粒子フィルタの非偏差逆モードADを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic differentiation (AD), a technique for constructing new programs which compute the derivative of an original program, has become ubiquitous throughout scientific computing and deep learning due to the improved performance afforded by gradient-based optimization. However, AD systems have been restricted to the subset of programs that have a continuous dependence on parameters. Programs that have discrete stochastic behaviors governed by distribution parameters, such as flipping a coin with probability $p$ of being heads, pose a challenge to these systems because the connection between the result (heads vs tails) and the parameters ($p$) is fundamentally discrete. In this paper we develop a new reparameterization-based methodology that allows for generating programs whose expectation is the derivative of the expectation of the original program. We showcase how this method gives an unbiased and low-variance estimator which is as automated as traditional AD mechanisms. We demonstrate unbiased forward-mode AD of discrete-time Markov chains, agent-based models such as Conway's Game of Life, and unbiased reverse-mode AD of a particle filter. Our code is available at https://github.com/gaurav-arya/StochasticAD.jl.
• Abstract（参考訳）: 従来のプログラムの微分を演算する新しいプログラムを構築する技術である自動微分 (AD) は、勾配に基づく最適化によって得られる性能の向上により、科学計算やディープラーニングを通じて広く普及している。 しかし、ADシステムはパラメータに連続的な依存を持つプログラムのサブセットに制限されている。 確率$p$の確率でコインを反転させるような分布パラメータによって制御される離散確率的挙動を持つプログラムは、結果(頭と尾)とパラメータ(p$)の接続が根本的に離散的であるため、これらのシステムに挑戦する。 本稿では,本プログラムの期待値の導出となるプログラムを生成するための,新しい再パラメータ化に基づく手法を提案する。 本稿では,この手法が従来のAD機構と同じくらい自動化された非バイアス・低分散推定器を実現する方法を紹介する。 離散時間マルコフ連鎖の偏りのない前方モードad,conwayのgame of lifeのようなエージェントベースのモデル,粒子フィルタの偏りのない逆モードadを示す。 私たちのコードはhttps://github.com/gaurav-arya/stochasticad.jlで入手できる。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Accelerated Inference for Partially Observed Markov Processes using Automatic Differentiation [4.872049174955585]
  自動微分(AD)は機械学習の最近の進歩を促している。 我々は,新しいアルゴリズムのクラスの拡張を提供する理論的枠組みに,既存の2つのAD粒子フィルタ手法を組み込む方法を示す。 我々はAD勾配推定のモンテカルロ特性に適合する確率アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-07-03T13:06:46Z)
• Smoothing Methods for Automatic Differentiation Across Conditional Branches [0.0]
  スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。 SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。 本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
  論文  参考訳（メタデータ） (2023-10-05T15:08:37Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Stochastically Differentiable Probabilistic Programs [18.971852464650144]
  離散確率変数の存在は、多くの基本的な勾配に基づく推論エンジンを禁止している。 我々はマルコフ・チェイン・モンテカルロのアルゴリズム群を用いて,このようなプログラムにおいて推論を効率的かつ堅牢に実行するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T08:04:41Z)
• Deep combinatorial optimisation for optimal stopping time problems : application to swing options pricing [0.0]
  ニューラルネットワークと離散確率変数のランダム化を用いた新しい計算制御法を提案し, 最適停止時間問題に適用した。 提案アルゴリズムは、古典的アルゴリズムでは不可能なような、高次元のアメリカンとスイングのオプションを妥当な時間で価格設定することに成功している。
  論文  参考訳（メタデータ） (2020-01-30T10:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。