論文の概要: Far from Asymptopia

• arxiv url: http://arxiv.org/abs/2205.03343v1
• Date: Fri, 6 May 2022 16:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 17:54:18.749690
• Title: Far from Asymptopia
• Title（参考訳）: Asymptopia (複数形 Asymptopias)
• Authors: Michael C. Abbott and Benjamin B. Machta
• Abstract要約: 限られたデータからの推論はパラメータ空間上の測度の概念を必要とする。 ジェフリーズ事前は最もよく知られた非形式的選択である。 ここでは、これは典型的な高次元モデルにおいて大きなバイアスをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference from limited data requires a notion of measure on parameter space, which is most explicit in the Bayesian framework as a prior distribution. Jeffreys prior is the best-known uninformative choice, the invariant volume element from information geometry, but we demonstrate here that this leads to enormous bias in typical high-dimensional models. This is because models found in science typically have an effective dimensionality of accessible behaviours much smaller than the number of microscopic parameters. Any measure which treats all of these parameters equally is far from uniform when projected onto the sub-space of relevant parameters, due to variations in the local co-volume of irrelevant directions. We present results on a principled choice of measure which avoids this issue, and leads to unbiased posteriors, by focusing on relevant parameters. This optimal prior depends on the quantity of data to be gathered, and approaches Jeffreys prior in the asymptotic limit. But for typical models this limit cannot be justified without an impossibly large increase in the quantity of data, exponential in the number of microscopic parameters.
• Abstract（参考訳）: 限定データからの推論はパラメータ空間上の測度の概念を必要とするが、これは事前分布としてベイズフレームワークで最も明示的なものである。 ジェフリーズ事前は情報幾何学の不変体積要素として最もよく知られた非形式的選択であるが、ここではこれが典型的な高次元モデルにおいて大きなバイアスをもたらすことを示す。 これは、科学で見られるモデルは、通常、顕微鏡パラメータの数よりもはるかに小さいアクセス可能な振る舞いの有効次元を持っているためである。 これらのパラメータを等しく扱う任意の測度は、無関係な方向の局所共体積の変化のため、関連するパラメータの部分空間に射影されるとき、一様ではない。 本稿では,この問題を回避し,関連するパラメータに焦点をあてて非バイアス後部を導出する尺度の原則的選択について述べる。 この最適な事前は収集されるデータの量に依存し、漸近的限界に先立ってジェフリーズにアプローチする。 しかし、典型的なモデルでは、この制限は、顕微鏡パラメータの数で指数関数的に、データ量を大きく増やさなければ正当化できない。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• A Universal Law of Robustness via Isoperimetry [1.484852576248587]
  スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
  論文  参考訳（メタデータ） (2021-05-26T19:49:47Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)
• Predictive Complexity Priors [3.5547661483076998]
  本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。 もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。 我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
  論文  参考訳（メタデータ） (2020-06-18T18:39:49Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Optimal statistical inference in the presence of systematic uncertainties using neural network optimization based on binned Poisson likelihoods with nuisance parameters [0.0]
  本研究は,特徴工学のためのニューラルネットワークによる次元削減を構築するための新しい戦略を提案する。 提案手法は, 最適に近い利害関係のパラメータを推定する方法について議論する。
  論文  参考訳（メタデータ） (2020-03-16T13:27:18Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。