論文の概要: Efficient Truncated Linear Regression with Unknown Noise Variance
- arxiv url: http://arxiv.org/abs/2208.12042v1
- Date: Thu, 25 Aug 2022 12:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 13:59:45.007445
- Title: Efficient Truncated Linear Regression with Unknown Noise Variance
- Title（参考訳）: 未知雑音分散を持つ効率的な停止線形回帰
- Authors: Constantinos Daskalakis, Patroklos Stefanou, Rui Yao, Manolis
Zampetakis
- Abstract要約: 雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。
提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
- 参考スコア（独自算出の注目度）: 26.870279729431328
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Truncated linear regression is a classical challenge in Statistics, wherein a
label, $y = w^T x + \varepsilon$, and its corresponding feature vector, $x \in
\mathbb{R}^k$, are only observed if the label falls in some subset $S \subseteq
\mathbb{R}$; otherwise the existence of the pair $(x, y)$ is hidden from
observation. Linear regression with truncated observations has remained a
challenge, in its general form, since the early works
of~\citet{tobin1958estimation,amemiya1973regression}. When the distribution of
the error is normal with known variance, recent work
of~\citet{daskalakis2019truncatedregression} provides computationally and
statistically efficient estimators of the linear model, $w$.
In this paper, we provide the first computationally and statistically
efficient estimators for truncated linear regression when the noise variance is
unknown, estimating both the linear model and the variance of the noise. Our
estimator is based on an efficient implementation of Projected Stochastic
Gradient Descent on the negative log-likelihood of the truncated sample.
Importantly, we show that the error of our estimates is asymptotically normal,
and we use this to provide explicit confidence regions for our estimates.
- Abstract（参考訳）: 正則線形回帰は統計学における古典的な問題であり、ラベルにおいて、$y = w^T x + \varepsilon$ とその対応する特徴ベクトル $x \in \mathbb{R}^k$ は、ラベルがある部分集合$S \subseteq \mathbb{R}$ に該当する場合にのみ観測される。
トランケートされた観測による線形回帰は、~\citet{tobin 1958estimation,amemiya 1973regression} の初期の研究以来、その一般的な形での挑戦のままである。
誤差の分布が既知の分散で正規である場合、--\citet{daskalakis2019truncatedregression} の最近の研究は線形モデルの計算的かつ統計的に効率的な推定器である $w$ を提供する。
本稿では, 雑音の分散が未知の場合には, 線形回帰を計算的に, 統計的に効率的に推定し, 線形モデルと雑音の分散の両方を推定する。
提案手法は, トラッピング標本の負の対数類似度に基づいて, プロジェクテッド確率勾配 Descent の効率的な実装に基づく。
重要なことは、我々の推定の誤差が漸近的に正常であることを示し、これを用いて、我々の推定に対する明確な信頼領域を提供する。
関連論文リスト
- Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳（メタデータ） (2022-12-11T18:03:12Z) - Streaming Sparse Linear Regression [1.8707139489039097]
本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。
提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
論文 参考訳（メタデータ） (2022-11-11T07:31:55Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Non-Asymptotic Guarantees for Robust Statistical Learning under
$(1+\varepsilon)$-th Moment Assumption [0.716879432974126]
本稿では,統計レグレッションの多種族を対象としたログトランケート型M-メチエータを提案する。
標準推定よりもログトランケート推定の方が優れていることを示す。
論文 参考訳（メタデータ） (2022-01-10T06:22:30Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。
この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
論文 参考訳（メタデータ） (2021-07-14T18:50:13Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。