論文の概要: Entropy-based Characterization of Modeling Constraints

• arxiv url: http://arxiv.org/abs/2206.14105v1
• Date: Mon, 27 Jun 2022 17:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 23:44:33.880585
• Title: Entropy-based Characterization of Modeling Constraints
• Title（参考訳）: エントロピーに基づくモデリング制約のキャラクタリゼーション
• Authors: Orestis Loukas, Ho Ryun Chung
• Abstract要約: ほとんどのデータ科学的アプローチでは、エントロピー(MaxEnt)の原理はパラメトリックモデルを正当化するために用いられる。 与えられた制約の集合を満たすすべての実効的な分布の分布を導出する。 データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In most data-scientific approaches, the principle of Maximum Entropy (MaxEnt) is used to a posteriori justify some parametric model which has been already chosen based on experience, prior knowledge or computational simplicity. In a perpendicular formulation to conventional model building, we start from the linear system of phenomenological constraints and asymptotically derive the distribution over all viable distributions that satisfy the provided set of constraints. The MaxEnt distribution plays a special role, as it is the most typical among all phenomenologically viable distributions representing a good expansion point for large-N techniques. This enables us to consistently formulate hypothesis testing in a fully-data driven manner. The appropriate parametric model which is supported by the data can be always deduced at the end of model selection. In the MaxEnt framework, we recover major scores and selection procedures used in multiple applications and assess their ability to capture associations in the data-generating process and identify the most generalizable model. This data-driven counterpart of standard model selection demonstrates the unifying prospective of the deductive logic advocated by MaxEnt principle, while potentially shedding new insights to the inverse problem.
• Abstract（参考訳）: 多くのデータ科学的なアプローチでは、最大エントロピー(MaxEnt)の原理は、経験、事前知識、計算の単純さに基づいて既に選択されたパラメトリックなモデルを正当化するために用いられる。 従来のモデル構築への垂直な定式化では、現象論的制約の線形系から始まり、与えられた制約の集合を満たすすべての実行可能な分布を漸近的に導出する。 MaxEnt分布は、大きなN技法のよい展開点を表すすべての現象学的に実行可能な分布の中で最も典型的なため、特別な役割を果たす。 これにより、完全にデータ駆動の方法で一貫して仮説テストを定式化できます。 データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。 MaxEntフレームワークでは、複数のアプリケーションで使用される主要なスコアと選択手順を復元し、データ生成プロセスにおける関連を捕捉し、最も一般化可能なモデルを特定する能力を評価する。 このデータ駆動型標準モデル選択は、マクセント原理が提唱する帰納論理の統一可能性を示し、逆問題に対する新たな洞察を与える。

関連論文リスト

• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  現在の因果的発見アプローチは、構造的識別可能性を確保するために、限定的なモデル仮定や介入データへのアクセスを必要とする。 近年の研究では、ベイズモデルの選択はより柔軟な仮定のために制限的モデリングを交換することで精度を大幅に向上させることができることが示されている。 合成データセットと実世界のデータセットの両方において、我々のアプローチの競争力を実証する。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
  本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。 その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
  論文  参考訳（メタデータ） (2024-10-02T20:46:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants [4.532043501030714]
  マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。 本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-27T02:58:22Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)
• On a computationally-scalable sparse formulation of the multidimensional and non-stationary maximum entropy principle [0.0]
  我々は、MaxEnt-principleの非定常定式化を導出し、その解が正規化によるスパース制約最適化問題の数値最大化によって近似可能であることを示す。 主要な7つのベンチマーク時系列は、条件付きメモリレスMaxEntモデルによりよりよく記述されていることを示す。 この分析は、異なる市場における正および負の潜伏変化に対する統計的に重要な時間的関係のスパースネットワークを明らかにしている。
  論文  参考訳（メタデータ） (2020-05-07T05:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。