論文の概要: Entropy-based Characterization of Modeling Constraints
- arxiv url: http://arxiv.org/abs/2206.14105v1
- Date: Mon, 27 Jun 2022 17:25:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 23:44:33.880585
- Title: Entropy-based Characterization of Modeling Constraints
- Title(参考訳): エントロピーに基づくモデリング制約のキャラクタリゼーション
- Authors: Orestis Loukas, Ho Ryun Chung
- Abstract要約: ほとんどのデータ科学的アプローチでは、エントロピー(MaxEnt)の原理はパラメトリックモデルを正当化するために用いられる。
与えられた制約の集合を満たすすべての実効的な分布の分布を導出する。
データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In most data-scientific approaches, the principle of Maximum Entropy (MaxEnt)
is used to a posteriori justify some parametric model which has been already
chosen based on experience, prior knowledge or computational simplicity. In a
perpendicular formulation to conventional model building, we start from the
linear system of phenomenological constraints and asymptotically derive the
distribution over all viable distributions that satisfy the provided set of
constraints. The MaxEnt distribution plays a special role, as it is the most
typical among all phenomenologically viable distributions representing a good
expansion point for large-N techniques. This enables us to consistently
formulate hypothesis testing in a fully-data driven manner. The appropriate
parametric model which is supported by the data can be always deduced at the
end of model selection. In the MaxEnt framework, we recover major scores and
selection procedures used in multiple applications and assess their ability to
capture associations in the data-generating process and identify the most
generalizable model. This data-driven counterpart of standard model selection
demonstrates the unifying prospective of the deductive logic advocated by
MaxEnt principle, while potentially shedding new insights to the inverse
problem.
- Abstract(参考訳): 多くのデータ科学的なアプローチでは、最大エントロピー(MaxEnt)の原理は、経験、事前知識、計算の単純さに基づいて既に選択されたパラメトリックなモデルを正当化するために用いられる。
従来のモデル構築への垂直な定式化では、現象論的制約の線形系から始まり、与えられた制約の集合を満たすすべての実行可能な分布を漸近的に導出する。
MaxEnt分布は、大きなN技法のよい展開点を表すすべての現象学的に実行可能な分布の中で最も典型的なため、特別な役割を果たす。
これにより、完全にデータ駆動の方法で一貫して仮説テストを定式化できます。
データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。
MaxEntフレームワークでは、複数のアプリケーションで使用される主要なスコアと選択手順を復元し、データ生成プロセスにおける関連を捕捉し、最も一般化可能なモデルを特定する能力を評価する。
このデータ駆動型標準モデル選択は、マクセント原理が提唱する帰納論理の統一可能性を示し、逆問題に対する新たな洞察を与える。
関連論文リスト
- Projected Generative Diffusion Models for Constraint Satisfaction [51.957984732779245]
生成拡散モデルは、逐次過程を通じて生ノイズからコヒーレントな内容の合成に優れる。
本稿では,従来の拡散サンプリングを制約最適化経路に再キャストすることで,これらの課題を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-05T22:18:16Z) - On Least Squares Estimation in Softmax Gating Mixture of Experts [85.61224527426624]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳(メタデータ) (2024-02-05T12:31:18Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳(メタデータ) (2023-02-22T11:26:50Z) - PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。
我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。
我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-07-12T17:57:17Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - The Predictive Normalized Maximum Likelihood for Over-parameterized
Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。
最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。
我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文 参考訳(メタデータ) (2021-02-14T15:49:04Z) - On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。
我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
論文 参考訳(メタデータ) (2020-07-06T17:28:19Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - On a computationally-scalable sparse formulation of the multidimensional
and non-stationary maximum entropy principle [0.0]
我々は、MaxEnt-principleの非定常定式化を導出し、その解が正規化によるスパース制約最適化問題の数値最大化によって近似可能であることを示す。
主要な7つのベンチマーク時系列は、条件付きメモリレスMaxEntモデルによりよりよく記述されていることを示す。
この分析は、異なる市場における正および負の潜伏変化に対する統計的に重要な時間的関係のスパースネットワークを明らかにしている。
論文 参考訳(メタデータ) (2020-05-07T05:22:46Z) - Dimension Independent Generalization Error by Stochastic Gradient
Descent [12.474236773219067]
本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。
一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
論文 参考訳(メタデータ) (2020-03-25T03:08:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。