論文の概要: On the Dynamics of Inference and Learning

• arxiv url: http://arxiv.org/abs/2204.12939v1
• Date: Tue, 19 Apr 2022 18:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-01 08:49:07.137415
• Title: On the Dynamics of Inference and Learning
• Title（参考訳）: 推論と学習のダイナミクスについて
• Authors: David S. Berman, Jonathan J. Heckman, Marc Klinger
• Abstract要約: 本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical Inference is the process of determining a probability distribution over the space of parameters of a model given a data set. As more data becomes available this probability distribution becomes updated via the application of Bayes' theorem. We present a treatment of this Bayesian updating process as a continuous dynamical system. Statistical inference is then governed by a first order differential equation describing a trajectory or flow in the information geometry determined by a parametric family of models. We solve this equation for some simple models and show that when the Cram\'{e}r-Rao bound is saturated the learning rate is governed by a simple $1/T$ power-law, with $T$ a time-like variable denoting the quantity of data. The presence of hidden variables can be incorporated in this setting, leading to an additional driving term in the resulting flow equation. We illustrate this with both analytic and numerical examples based on Gaussians and Gaussian Random Processes and inference of the coupling constant in the 1D Ising model. Finally we compare the qualitative behaviour exhibited by Bayesian flows to the training of various neural networks on benchmarked data sets such as MNIST and CIFAR10 and show how that for networks exhibiting small final losses the simple power-law is also satisfied.
• Abstract（参考訳）: 統計的推論は、データセットが与えられたモデルのパラメータの空間上の確率分布を決定する過程である。 より多くのデータが利用可能になると、確率分布はベイズの定理の適用によって更新される。 本稿では,このベイズ更新過程を連続力学系として扱う。 統計的推論は、パラメトリックなモデル族によって決定される情報幾何学における軌道や流れを記述する一階微分方程式によって制御される。 いくつかの単純なモデルに対してこの方程式を解くと、Cram\'{e}r-Rao境界が飽和すると、学習率は単純な1/T$パワーローで制御され、データ量を表す時間的な変数は$T$である。 隠れ変数の存在をこの設定に組み込むことができ、結果としてフロー方程式のさらなる駆動項が導かれる。 ガウス過程とガウス確率過程に基づく解析的および数値的な例と1次元イジングモデルにおけるカップリング定数の推定の両方でこれを説明できる。 最後に,ベイズ流が示す定性的挙動と,MNISTやCIFAR10などのベンチマークデータセット上での各種ニューラルネットワークのトレーニングを比較し,最終的な損失が少ないネットワークに対して,単純なパワーローも満足できることを示す。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
  本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。 パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:53:31Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Amortised inference of fractional Brownian motion with linear computational complexity [0.0]
  ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。 提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。 この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
  論文  参考訳（メタデータ） (2022-03-15T14:43:16Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)
• Variational inference formulation for a model-free simulation of a dynamical system with unknown parameters by a recurrent neural network [8.616180927172548]
  本研究では,事前知識のない未知パラメータを持つ力学系の「モデルフリー」シミュレーションを提案する。 ディープラーニングモデルは,非線形時間行進演算子と未知パラメータの影響を時系列データセットから共同学習することを目的としている。 提案したディープラーニングモデルは,乱数パラメータの次元を正確に同定し,複雑な時系列データの表現を学習することができる。
  論文  参考訳（メタデータ） (2020-03-02T20:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。