論文の概要: Far from Asymptopia

• arxiv url: http://arxiv.org/abs/2205.03343v2
• Date: Thu, 30 Mar 2023 20:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 20:43:31.988637
• Title: Far from Asymptopia
• Title（参考訳）: Asymptopia (複数形 Asymptopias)
• Authors: Michael C. Abbott and Benjamin B. Machta
• Abstract要約: 限られたデータからの推論はパラメータ空間上の測度の概念を必要とするが、ベイズフレームワークは前者として最も明示的である。 ここでは、最もよく知られた非形式的選択であるジェフリーズ先行が、典型的な科学的モデルに適用した場合に巨大なバイアスをもたらすことを示した。 この問題を回避し、複雑なモデルにおける偏りのない推論につながるような、原則化された測度の選択に関する結果を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference from limited data requires a notion of measure on parameter space, most explicit in the Bayesian framework as a prior. Here we demonstrate that Jeffreys prior, the best-known uninformative choice, introduces enormous bias when applied to typical scientific models. Such models have a relevant effective dimensionality much smaller than the number of microscopic parameters. Because Jeffreys prior treats all microscopic parameters equally, it is from uniform when projected onto the sub-space of relevant parameters, due to variations in the local co-volume of irrelevant directions. We present results on a principled choice of measure which avoids this issue, leading to unbiased inference in complex models. This optimal prior depends on the quantity of data to be gathered, and approaches Jeffreys prior in the asymptotic limit. However, this limit cannot be justified without an impossibly large amount of data, exponential in the number of microscopic parameters.
• Abstract（参考訳）: 限られたデータからの推論はパラメータ空間上の測度の概念を必要とするが、ベイズフレームワークは前者である。 ここではジェフリーズ・プリアー(jeffreys prior)が、典型的な科学的モデルに適用すると、膨大なバイアスをもたらすことを実証する。 このようなモデルは、顕微鏡パラメータの数よりもはるかに小さい有効次元を持つ。 ジェフリーズは全ての微視的パラメータを等しく扱うため、無関係な方向の局所的共体積の変化のため、関連するパラメータのサブ空間に投影されたときから均一である。 我々は,この問題を回避する尺度の原理的選択の結果を提示し,複雑なモデルにおける偏りのない推論へと導く。 この最適な事前は収集されるデータの量に依存し、漸近的限界に先立ってジェフリーズにアプローチする。 しかし、この限界は、微視的パラメータの数に指数関数的な大量のデータなしでは正当化できない。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• A Universal Law of Robustness via Isoperimetry [1.484852576248587]
  スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
  論文  参考訳（メタデータ） (2021-05-26T19:49:47Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)
• Predictive Complexity Priors [3.5547661483076998]
  本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。 もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。 我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
  論文  参考訳（メタデータ） (2020-06-18T18:39:49Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Optimal statistical inference in the presence of systematic uncertainties using neural network optimization based on binned Poisson likelihoods with nuisance parameters [0.0]
  本研究は,特徴工学のためのニューラルネットワークによる次元削減を構築するための新しい戦略を提案する。 提案手法は, 最適に近い利害関係のパラメータを推定する方法について議論する。
  論文  参考訳（メタデータ） (2020-03-16T13:27:18Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。