論文の概要: On the Dynamics of Inference and Learning

• arxiv url: http://arxiv.org/abs/2204.12939v1
• Date: Tue, 19 Apr 2022 18:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-01 08:49:07.137415
• Title: On the Dynamics of Inference and Learning
• Title（参考訳）: 推論と学習のダイナミクスについて
• Authors: David S. Berman, Jonathan J. Heckman, Marc Klinger
• Abstract要約: 本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical Inference is the process of determining a probability distribution over the space of parameters of a model given a data set. As more data becomes available this probability distribution becomes updated via the application of Bayes' theorem. We present a treatment of this Bayesian updating process as a continuous dynamical system. Statistical inference is then governed by a first order differential equation describing a trajectory or flow in the information geometry determined by a parametric family of models. We solve this equation for some simple models and show that when the Cram\'{e}r-Rao bound is saturated the learning rate is governed by a simple $1/T$ power-law, with $T$ a time-like variable denoting the quantity of data. The presence of hidden variables can be incorporated in this setting, leading to an additional driving term in the resulting flow equation. We illustrate this with both analytic and numerical examples based on Gaussians and Gaussian Random Processes and inference of the coupling constant in the 1D Ising model. Finally we compare the qualitative behaviour exhibited by Bayesian flows to the training of various neural networks on benchmarked data sets such as MNIST and CIFAR10 and show how that for networks exhibiting small final losses the simple power-law is also satisfied.
• Abstract（参考訳）: 統計的推論は、データセットが与えられたモデルのパラメータの空間上の確率分布を決定する過程である。 より多くのデータが利用可能になると、確率分布はベイズの定理の適用によって更新される。 本稿では,このベイズ更新過程を連続力学系として扱う。 統計的推論は、パラメトリックなモデル族によって決定される情報幾何学における軌道や流れを記述する一階微分方程式によって制御される。 いくつかの単純なモデルに対してこの方程式を解くと、Cram\'{e}r-Rao境界が飽和すると、学習率は単純な1/T$パワーローで制御され、データ量を表す時間的な変数は$T$である。 隠れ変数の存在をこの設定に組み込むことができ、結果としてフロー方程式のさらなる駆動項が導かれる。 ガウス過程とガウス確率過程に基づく解析的および数値的な例と1次元イジングモデルにおけるカップリング定数の推定の両方でこれを説明できる。 最後に,ベイズ流が示す定性的挙動と,MNISTやCIFAR10などのベンチマークデータセット上での各種ニューラルネットワークのトレーニングを比較し,最終的な損失が少ないネットワークに対して,単純なパワーローも満足できることを示す。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。 生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。 我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
  本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。 パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:53:31Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Amortised inference of fractional Brownian motion with linear computational complexity [0.0]
  ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。 提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。 この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
  論文  参考訳（メタデータ） (2022-03-15T14:43:16Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Variational inference formulation for a model-free simulation of a dynamical system with unknown parameters by a recurrent neural network [8.616180927172548]
  本研究では,事前知識のない未知パラメータを持つ力学系の「モデルフリー」シミュレーションを提案する。 ディープラーニングモデルは,非線形時間行進演算子と未知パラメータの影響を時系列データセットから共同学習することを目的としている。 提案したディープラーニングモデルは,乱数パラメータの次元を正確に同定し,複雑な時系列データの表現を学習することができる。
  論文  参考訳（メタデータ） (2020-03-02T20:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。