論文の概要: The radius of statistical efficiency
- arxiv url: http://arxiv.org/abs/2405.09676v1
- Date: Wed, 15 May 2024 19:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 15:59:48.679253
- Title: The radius of statistical efficiency
- Title(参考訳): 統計効率の半径
- Authors: Joshua Cutler, Mateo Díaz, Dmitriy Drusvyatskiy,
- Abstract要約: 統計的効率半径(RSE)という推定問題のロバスト性尺度を導入する。
RSEはフィッシャー情報行列特異点を与える問題データに対する最小の摂動の大きさである。
数値解析において古典的エッカート・ヤングの定理と平行して, RSE と問題インスタンスの内在的複雑性/感度の正確な相互関係を観察する。
- 参考スコア(独自算出の注目度): 8.771678221101368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical results in asymptotic statistics show that the Fisher information matrix controls the difficulty of estimating a statistical model from observed data. In this work, we introduce a companion measure of robustness of an estimation problem: the radius of statistical efficiency (RSE) is the size of the smallest perturbation to the problem data that renders the Fisher information matrix singular. We compute RSE up to numerical constants for a variety of test bed problems, including principal component analysis, generalized linear models, phase retrieval, bilinear sensing, and matrix completion. In all cases, the RSE quantifies the compatibility between the covariance of the population data and the latent model parameter. Interestingly, we observe a precise reciprocal relationship between RSE and the intrinsic complexity/sensitivity of the problem instance, paralleling the classical Eckart-Young theorem in numerical analysis.
- Abstract(参考訳): 漸近統計学における古典的な結果は、フィッシャー情報行列が観測データから統計モデルを推定することの難しさを制御していることを示している。
本稿では,統計効率の半径(RSE)は,フィッシャー情報行列の特異点を示す問題データに対する最小の摂動の大きさである。
我々は、主成分分析、一般化線形モデル、位相探索、双線形センシング、行列補完など、様々なテストベッド問題に対する RSE の数値定数を計算する。
いずれの場合も、RSEは集団データの共分散と潜在モデルパラメータとの整合性を定量化する。
興味深いことに、RSEと問題インスタンスの内在的複雑性/感度の正確な相互関係を数値解析における古典的エッカート・ヤングの定理と平行に観察する。
関連論文リスト
- Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳(メタデータ) (2024-08-25T04:07:18Z) - Robust learning of data anomalies with analytically-solvable entropic
outlier sparsification [0.0]
Outlier Sparsification (EOS) はデータ異常検出のための堅牢な計算戦略として提案されている。
EOSの性能は、合成問題や、バイオメディシンからの部分的に分類された分類問題において、一般的に使用される様々なツールと比較される。
論文 参考訳(メタデータ) (2021-12-22T10:13:29Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Low-rank statistical finite elements for scalable model-data synthesis [0.8602553195689513]
statFEMは、支配方程式に強制を埋め込むことによって、事前モデルの誤特定を認める。
この方法は、観測されたデータ生成過程を最小限の情報損失で再構築する。
本稿では、下層の密度共分散行列の低ランク近似を埋め込むことで、このハードルを克服する。
論文 参考訳(メタデータ) (2021-09-10T09:51:43Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - A connection between the pattern classification problem and the General
Linear Model for statistical inference [0.2320417845168326]
両方のアプローチ、すなわち。
GLM および LRM は、異なったドメイン、観察およびラベル ドメインに適用します。
より洗練された予測アルゴリズムに基づく統計的検査を導出する。
MLEベースの推論は、残留スコアを採用し、実際の(実際の)エラーのより良い推定を計算するために上界を含む。
論文 参考訳(メタデータ) (2020-12-16T12:26:26Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。