論文の概要: MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY
Estimation
- arxiv url: http://arxiv.org/abs/2306.04120v1
- Date: Wed, 7 Jun 2023 03:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 16:29:24.630914
- Title: MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY
Estimation
- Title（参考訳）: MESSY推定:最大エントロピーに基づく確率的および記号的デンシット推定
- Authors: Tony Tohme, Mohsen Sadr, Kamal Youcef-Toumi, Nicolas G.
Hadjiconstantinou
- Abstract要約: 最大エントロピーに基づく勾配法であるMESSY推定法とシンボリックデンシット推定法を導入する。
特に、未知分布関数のサンプルを推定記号表現に接続する勾配に基づくドリフト拡散過程を構築する。
基本関数の記号探索を追加することで, 推定精度を合理的な計算コストで向上することがわかった。
- 参考スコア（独自算出の注目度）: 5.821060995749903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce MESSY estimation, a Maximum-Entropy based Stochastic and
Symbolic densitY estimation method. The proposed approach recovers probability
density functions symbolically from samples using moments of a Gradient flow in
which the ansatz serves as the driving force. In particular, we construct a
gradient-based drift-diffusion process that connects samples of the unknown
distribution function to a guess symbolic expression. We then show that when
the guess distribution has the maximum entropy form, the parameters of this
distribution can be found efficiently by solving a linear system of equations
constructed using the moments of the provided samples. Furthermore, we use
Symbolic regression to explore the space of smooth functions and find optimal
basis functions for the exponent of the maximum entropy functional leading to
good conditioning. The cost of the proposed method in each iteration of the
random search is linear with the number of samples and quadratic with the
number of basis functions. We validate the proposed MESSY estimation method
against other benchmark methods for the case of a bi-modal and a discontinuous
density, as well as a density at the limit of physical realizability. We find
that the addition of a symbolic search for basis functions improves the
accuracy of the estimation at a reasonable additional computational cost. Our
results suggest that the proposed method outperforms existing density recovery
methods in the limit of a small to moderate number of samples by providing a
low-bias and tractable symbolic description of the unknown density at a
reasonable computational cost.
- Abstract（参考訳）: 最大エントロピーに基づく確率および記号密度推定法であるMESSY推定を導入する。
提案手法は,アンザッツが駆動力となるグラディエント流のモーメントを用いて,サンプルから確率密度関数を記号的に復元する。
特に,未知分布関数のサンプルと推測記号表現を接続する勾配に基づくドリフト拡散プロセスを構築した。
次に, 推定分布が最大エントロピー形式を持つ場合, 与えられたサンプルのモーメントを用いて構築した方程式の線形系を解いて, この分布のパラメータを効率的に求めることができることを示す。
さらに、シンボリック回帰を用いて滑らかな関数の空間を探索し、最大エントロピー汎関数の指数に対する最適な基底関数を見つけ、良好な条件付けへと導く。
ランダム探索の各イテレーションにおける提案手法のコストは,サンプル数と基底関数数とを線形に比較した。
提案手法は,bi-modalと不連続密度,および物理的実現可能性の限界における密度について,他のベンチマーク手法に対する乱雑な推定手法の有効性を検証する。
基本関数の記号探索を追加することで, 推定精度を合理的な計算コストで向上することがわかった。
提案手法は, 有効な計算コストで未知密度の低バイアスかつ従順な記号記述を提供することにより, 既存の密度回復法を, 少量から中程度のサンプル数に上回っていることを示唆する。
関連論文リスト
- Maximum a Posteriori Estimation for Linear Structural Dynamics Models Using Bayesian Optimization with Rational Polynomial Chaos Expansions [0.01578888899297715]
本稿では,MAP推定のための既存のスパースベイズ学習手法の拡張を提案する。
ベイズ最適化手法を導入し,実験設計を適応的に強化する。
疎性誘導学習と実験設計を組み合わせることで,モデル評価の回数を効果的に削減する。
論文 参考訳（メタデータ） (2024-08-07T06:11:37Z) - Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Probability flow solution of the Fokker-Planck equation [10.484851004093919]
確率の流れを記述した常微分方程式の統合に基づく代替スキームを導入する。
力学とは異なり、この方程式は決定論的に初期密度からのサンプルを後から溶液のサンプルにプッシュする。
我々のアプローチは、生成モデルのためのスコアベース拡散の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2022-06-09T17:37:09Z) - A Non-Classical Parameterization for Density Estimation Using Sample
Moments [0.0]
サンプルモーメントを用いた密度推定のための非古典的パラメトリゼーションを提案する。
提案した推定器は、任意の偶数列までのパワーモーメントがサンプルモーメントと正確に一致する文献で最初のものである。
論文 参考訳（メタデータ） (2022-01-13T04:28:52Z) - Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。
我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。
我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
論文 参考訳（メタデータ） (2021-10-21T14:47:06Z) - Manifold learning-based polynomial chaos expansions for high-dimensional
surrogate models [0.0]
システム記述における不確実性定量化(UQ)のための多様体学習に基づく手法を提案する。
提案手法は高精度な近似を達成でき、UQタスクの大幅な高速化につながる。
論文 参考訳（メタデータ） (2021-07-21T00:24:15Z) - Conditional Density Estimation via Weighted Logistic Regressions [0.30458514384586394]
非均一プロセスモデルの一般密度と可能性関数の関連性を示すパラメトリック条件密度推定法を提案する。
最大推定値は重み付けされたロジスティック回帰によって得ることができ、ブロックワイズ交互化スキームと局所ケースコントロールサンプリングを組み合わせることで計算を著しく緩和することができる。
論文 参考訳（メタデータ） (2020-10-21T11:08:25Z) - Fast approximations in the homogeneous Ising model for use in scene
analysis [61.0951285821105]
我々は、推論に必要な量を数値計算できる正確な近似を提供する。
近似式はスケーラブルでマルコフランダム場の大きさに満足できないことを示す。
機能的磁気共鳴イメージングアクティベーション検出実験においてベイズ推論を行い, ピスタチオ樹収量の年次増加の空間パターンにおける異方性に対する確率比試験を行った。
論文 参考訳（メタデータ） (2017-12-06T14:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。