論文の概要: Occam's Ghost

• arxiv url: http://arxiv.org/abs/2006.09813v1
• Date: Mon, 15 Jun 2020 20:25:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 04:11:13.954757
• Title: Occam's Ghost
• Title（参考訳）: オッカムの幽霊
• Authors: Peter K\"ovesarki
• Abstract要約: データセットのモデルの総ビット要求を最小化することは、より小さな微分、よりスムーズな確率密度関数の推定、そして最も重要なのは、関連するパラメータが少ない位相空間を好む。 また、スムーズで非パラメトリックな確率密度推定器にどのように適用できるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article applies the principle of Occam's Razor to non-parametric model building of statistical data, by finding a model with the minimal number of bits, leading to an exceptionally effective regularization method for probability density estimators. The idea comes from the fact that likelihood maximization also minimizes the number of bits required to encode a dataset. However, traditional methods overlook that the optimization of model parameters may also inadvertently play the part in encoding data points. The article shows how to extend the bit counting to the model parameters as well, providing the first true measure of complexity for parametric models. Minimizing the total bit requirement of a model of a dataset favors smaller derivatives, smoother probability density function estimates and most importantly, a phase space with fewer relevant parameters. In fact, it is able prune parameters and detect features with small probability at the same time. It is also shown, how it can be applied to any smooth, non-parametric probability density estimator.
• Abstract（参考訳）: 本稿では、オッカムのラザーの原理を統計データの非パラメトリックモデル構築に適用し、最小ビット数のモデルを見つけることにより、確率密度推定器の極めて効果的な正規化法を導出する。 このアイデアは、最大化がデータセットをエンコードするのに必要となるビット数を最小化するという事実に由来する。 しかし、従来の手法では、モデルパラメータの最適化がデータポイントを符号化する役割を故意に果たす可能性も見落としている。 この記事は、ビットカウントをモデルパラメータにも拡張する方法を示し、パラメトリックモデルの複雑性の最初の真の尺度を提供する。 データセットのモデルの総ビット要求を最小化することは、より小さな微分、よりスムーズな確率密度関数の推定、そして最も重要なのは、関連するパラメータが少ない位相空間を好む。 実際、パラメータをプルーンし、少量の確率で特徴を同時に検出することができる。 また、任意の滑らかで非パラメトリックな確率密度推定器に適用できることを示した。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• A Statistical Decision-Theoretical Perspective on the Two-Stage Approach to Parameter Estimation [7.599399338954307]
  2段階(TS)アプローチは、信頼できるパラメトリック推定を得るために適用することができる。 独立したサンプルと同一のサンプルのモデルにTSアプローチを適用する方法を示す。
  論文  参考訳（メタデータ） (2022-03-31T18:19:47Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning [52.624194343095304]
  我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。 実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
  論文  参考訳（メタデータ） (2020-12-22T07:42:30Z)
• A new method for parameter estimation in probabilistic models: Minimum probability flow [26.25482738732648]
  パラメトリックモデルに適用可能なパラメータフィッティング手法として,MPF(Minimum Probability Flow)を提案する。 連続状態空間モデルとイジングスピンガラスの2つのケースでMPFを用いたパラメータ推定を実証する。
  論文  参考訳（メタデータ） (2020-07-17T21:19:44Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Optimal statistical inference in the presence of systematic uncertainties using neural network optimization based on binned Poisson likelihoods with nuisance parameters [0.0]
  本研究は,特徴工学のためのニューラルネットワークによる次元削減を構築するための新しい戦略を提案する。 提案手法は, 最適に近い利害関係のパラメータを推定する方法について議論する。
  論文  参考訳（メタデータ） (2020-03-16T13:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。