論文の概要: Conjugate Natural Selection
- arxiv url: http://arxiv.org/abs/2208.13898v1
- Date: Mon, 29 Aug 2022 21:40:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 12:27:51.947567
- Title: Conjugate Natural Selection
- Title(参考訳): 共役自然選択
- Authors: Reilly Raab, Luca de Alfaro, Yang Liu
- Abstract要約: 自然勾配降下は自然選択による進化と整合した共役的動的記述を持つことを示す。
プライス方程式は、ポリシーのアーキテクチャとパラメータによって生成されるヒルベルト空間に属する関数の同値類に適用されることを示す。
- 参考スコア(独自算出の注目度): 8.224899481613392
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We prove that natural gradient descent, with respect to the parameters of a
machine learning policy, admits a conjugate dynamical description consistent
with evolution by natural selection. We characterize these conjugate dynamics
as a locally optimal fit to the continuous-time replicator dynamics, and show
that the Price equation applies to equivalence classes of functions belonging
to a Hilbert space generated by the policy's architecture and parameters. We
posit that "conjugate natural selection" intuitively explains the empirical
effectiveness of natural gradient descent, while developing a useful analytic
approach to the dynamics of machine learning.
- Abstract(参考訳): 機械学習ポリシーのパラメータに関して、自然勾配降下は自然選択による進化と整合した共役的動的記述を認めることを証明している。
これらの共役ダイナミクスを連続時間レプリケータダイナミクスに局所的最適適合であると特徴付け、プライス方程式がポリシーのアーキテクチャとパラメータによって生成されるヒルベルト空間に属する関数の同値類に適用できることを示した。
共役自然選択」は,自然勾配降下の実証的効果を直感的に説明し,機械学習のダイナミクスに対する有用な分析手法を考案する。
関連論文リスト
- Deep Horseshoe Gaussian Processes [1.0742675209112622]
直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。
本研究は、2次損失から対数係数まで、未知の真の回帰曲線を最適に復元することを示す。
論文 参考訳(メタデータ) (2024-03-04T05:30:43Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳(メタデータ) (2022-10-14T15:20:17Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳(メタデータ) (2021-12-29T23:37:06Z) - Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。
我々は,新しい連続時間変動推定アルゴリズムを開発した。
モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
論文 参考訳(メタデータ) (2021-09-29T15:19:51Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z) - A Deterministic Approximation to Neural SDEs [38.23826389188657]
本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。
我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。
また,決定論的学習の数値的安定性により予測精度も向上する。
論文 参考訳(メタデータ) (2020-06-16T08:00:26Z) - Convergence rates and approximation results for SGD and its
continuous-time counterpart [16.70533901524849]
本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。
まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。
連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
論文 参考訳(メタデータ) (2020-04-08T18:31:34Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳(メタデータ) (2020-03-04T01:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。