論文の概要: Conjugate Natural Selection

• arxiv url: http://arxiv.org/abs/2208.13898v1
• Date: Mon, 29 Aug 2022 21:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 12:27:51.947567
• Title: Conjugate Natural Selection
• Title（参考訳）: 共役自然選択
• Authors: Reilly Raab, Luca de Alfaro, Yang Liu
• Abstract要約: 自然勾配降下は自然選択による進化と整合した共役的動的記述を持つことを示す。 プライス方程式は、ポリシーのアーキテクチャとパラメータによって生成されるヒルベルト空間に属する関数の同値類に適用されることを示す。
• 参考スコア（独自算出の注目度）: 8.224899481613392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We prove that natural gradient descent, with respect to the parameters of a machine learning policy, admits a conjugate dynamical description consistent with evolution by natural selection. We characterize these conjugate dynamics as a locally optimal fit to the continuous-time replicator dynamics, and show that the Price equation applies to equivalence classes of functions belonging to a Hilbert space generated by the policy's architecture and parameters. We posit that "conjugate natural selection" intuitively explains the empirical effectiveness of natural gradient descent, while developing a useful analytic approach to the dynamics of machine learning.
• Abstract（参考訳）: 機械学習ポリシーのパラメータに関して、自然勾配降下は自然選択による進化と整合した共役的動的記述を認めることを証明している。 これらの共役ダイナミクスを連続時間レプリケータダイナミクスに局所的最適適合であると特徴付け、プライス方程式がポリシーのアーキテクチャとパラメータによって生成されるヒルベルト空間に属する関数の同値類に適用できることを示した。 共役自然選択」は,自然勾配降下の実証的効果を直感的に説明し,機械学習のダイナミクスに対する有用な分析手法を考案する。

関連論文リスト

• ProGen: Revisiting Probabilistic Spatial-Temporal Time Series Forecasting from a Continuous Generative Perspective Using Stochastic Differential Equations [18.64802090861607]
  ProGen Proは、不確実性を管理しながら依存関係を効果的にキャプチャする堅牢なソリューションを提供する。 4つのベンチマークトラフィックデータセットの実験により、ProGen Proは最先端の決定論的確率モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-02T14:37:30Z)
• Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations [7.439555720106548]
  本稿では、カーネルハイパーパラメータを確率変数として扱い、結合微分方程式(SDE)を構築して、その後部分布と誘導点を学習する完全ベイズ的手法を提案する。 提案手法は,SDE法による結合変数による時間変化,包括的,現実的な後部近似を提供する。 我々の研究はベイズ的推論を推し進めるためのエキサイティングな研究の道を開き、継続的なガウス的プロセスのための強力なモデリングツールを提供する。
  論文  参考訳（メタデータ） (2024-08-12T11:41:07Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Deep Horseshoe Gaussian Processes [1.0742675209112622]
  直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。 本研究は、2次損失から対数係数まで、未知の真の回帰曲線を最適に復元することを示す。
  論文  参考訳（メタデータ） (2024-03-04T05:30:43Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
  従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。 我々は,新しい連続時間変動推定アルゴリズムを開発した。 モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
  論文  参考訳（メタデータ） (2021-09-29T15:19:51Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。