論文の概要: Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models
- arxiv url: http://arxiv.org/abs/2405.08661v1
- Date: Tue, 14 May 2024 14:41:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 13:49:19.540346
- Title: Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models
- Title（参考訳）: 確率的および決定論的モデルにおける勾配推定とばらつき低減
- Authors: Ronan Keane,
- Abstract要約: この論文は制約のない非線形最適化問題を考察している。
このような問題の解決を可能にする鍵となる量である勾配そのものに着目する。
決定論と要素の双方に関わる問題の勾配を計算するための新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It seems that in the current age, computers, computation, and data have an increasingly important role to play in scientific research and discovery. This is reflected in part by the rise of machine learning and artificial intelligence, which have become great areas of interest not just for computer science but also for many other fields of study. More generally, there have been trends moving towards the use of bigger, more complex and higher capacity models. It also seems that stochastic models, and stochastic variants of existing deterministic models, have become important research directions in various fields. For all of these types of models, gradient-based optimization remains as the dominant paradigm for model fitting, control, and more. This dissertation considers unconstrained, nonlinear optimization problems, with a focus on the gradient itself, that key quantity which enables the solution of such problems. In chapter 1, we introduce the notion of reverse differentiation, a term which describes the body of techniques which enables the efficient computation of gradients. We cover relevant techniques both in the deterministic and stochastic cases. We present a new framework for calculating the gradient of problems which involve both deterministic and stochastic elements. In chapter 2, we analyze the properties of the gradient estimator, with a focus on those properties which are typically assumed in convergence proofs of optimization algorithms. Chapter 3 gives various examples of applying our new gradient estimator. We further explore the idea of working with piecewise continuous models, that is, models with distinct branches and if statements which define what specific branch to use.
- Abstract（参考訳）: 現代のコンピュータ、計算、データは、科学研究や発見においてますます重要な役割を担っているようだ。
これは、機械学習と人工知能の台頭によって部分的に反映され、コンピュータ科学だけでなく、他の多くの研究分野にも大きな関心が寄せられている。
より一般的には、より大きく、より複雑で、より高いキャパシティモデルの使用に向かっている傾向があります。
また、既存の決定論的モデルの確率的モデルや確率的変種が、様々な分野において重要な研究方向となったようである。
これらすべてのモデルに対して、勾配に基づく最適化はモデルフィッティング、制御などの主要なパラダイムとして残っています。
この論文は、勾配そのものに焦点をあて、制約のない非線形最適化問題を考える。
第1章では、勾配の効率的な計算を可能にする手法の体系を記述する逆微分の概念を紹介した。
決定的および確率的ケースの両方において、関連するテクニックを取り上げる。
決定的要素と確率的要素の両方を含む問題の勾配を計算するための新しい枠組みを提案する。
第2章では、最適化アルゴリズムの収束証明において典型的に仮定される特性に着目し、勾配推定器の特性を分析する。
第3章は、我々の新しい勾配推定器を適用する様々な例を示す。
さらに、個別のブランチを持つモデルと、使用する特定のブランチを定義するステートメントについて、断片的に連続するモデルを扱うという考え方についても検討する。
関連論文リスト
- Comparative study of regression vs pairwise models for surrogate-based heuristic optimisation [1.2535250082638645]
本稿では, シュロゲート問題の定式化を, 適合度を近似する回帰モデル(表面シュロゲートモデル)と, 分類モデル(ペアワイズ・シュロゲートモデル)を結合する新しい方法の両方として扱う。
オンライン機械学習に基づくサロゲートモデルを用いる場合の全体探索の性能は、予測モデルの精度だけでなく、正または負のケースに対するバイアスの種類にも依存する。
論文 参考訳（メタデータ） (2024-10-04T13:19:06Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳（メタデータ） (2023-07-06T15:19:53Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Partition Function Estimation: A Quantitative Study [25.782420501870295]
グラフィカルモデルの分割関数は、関心の中心的な量である。
見積もりの品質に関する様々な保証とともに、長年にわたっていくつかの技術が提案されてきた。
私たちの実験では、正確な技術は近似した技術と同じくらい効率的であるという驚くべき観察結果が得られました。
論文 参考訳（メタデータ） (2021-05-24T07:25:43Z) - Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。
勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。
これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
論文 参考訳（メタデータ） (2021-02-07T11:34:39Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Differentiable Segmentation of Sequences [2.1485350418225244]
我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。
我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。
我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
論文 参考訳（メタデータ） (2020-06-23T15:51:48Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。