論文の概要: Near Optimal Heteroscedastic Regression with Symbiotic Learning
- arxiv url: http://arxiv.org/abs/2306.14288v1
- Date: Sun, 25 Jun 2023 16:32:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 15:43:51.754749
- Title: Near Optimal Heteroscedastic Regression with Symbiotic Learning
- Title（参考訳）: 共生学習による最適ヘテロシドスティック回帰
- Authors: Dheeraj Baby and Aniket Das and Dheeraj Nagaraj and Praneeth
Netrapalli
- Abstract要約: ヘテロスセダスティック線形回帰の古典的問題を考察する。
正則ノルムにおいて$mathbfw*$を$tildeOleft(|mathbff*|2 cdot left(frac1n + left(fracnright)2right)$の誤差まで推定し、一致する下界を証明できることを示す。
- 参考スコア（独自算出の注目度）: 29.16456701187538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the classical problem of heteroscedastic linear regression, where
we are given $n$ samples $(\mathbf{x}_i, y_i) \in \mathbb{R}^d \times
\mathbb{R}$ obtained from $y_i = \langle \mathbf{w}^{*}, \mathbf{x}_i \rangle +
\epsilon_i \cdot \langle \mathbf{f}^{*}, \mathbf{x}_i \rangle$, where
$\mathbf{x}_i \sim N(0,\mathbf{I})$, $\epsilon_i \sim N(0,1)$, and our task is
to estimate $\mathbf{w}^{*}$. In addition to the classical applications of
heteroscedastic models in fields such as statistics, econometrics, time series
analysis etc., it is also particularly relevant in machine learning when data
is collected from multiple sources of varying but apriori unknown quality,
e.g., large model training. Our work shows that we can estimate
$\mathbf{w}^{*}$ in squared norm up to an error of
$\tilde{O}\left(\|\mathbf{f}^{*}\|^2 \cdot \left(\frac{1}{n} +
\left(\frac{d}{n}\right)^2\right)\right)$ and prove a matching lower bound (up
to logarithmic factors). Our result substantially improves upon the previous
best known upper bound of $\tilde{O}\left(\|\mathbf{f}^{*}\|^2\cdot
\frac{d}{n}\right)$. Our upper bound result is based on a novel analysis of a
simple, classical heuristic going back to at least Davidian and Carroll (1987)
and constitutes the first non-asymptotic convergence guarantee for this
approach. As a byproduct, our analysis also provides improved rates of
estimation for both linear regression and phase retrieval with multiplicative
noise, which maybe of independent interest. The lower bound result relies on a
careful application of LeCam's two point method, adapted to work with heavy
tailed random variables where the relevant mutual information quantities are
infinite (precluding a direct application of LeCam's method), and could also be
of broader interest.
- Abstract（参考訳）: y_i = \langle \mathbf{w}^{*}, \mathbf{x}_i \rangle + \epsilon_i \cdot \langle \mathbf{f}^{*}, \mathbf{x}_i \rangle$\mathbf{x}_i \rangle$,$\epsilon_i \rangle$,$\mathbf{i}_i \sim n(0,\mathbf{i})$,$\epsilon_i \sim n(0,1)$,$\epsilon_i \rangle$,$\mathbf{x}_i \rangle$,$\mathbf{x}_i \sim n(0,\mathbf{i})$,$\epsilon_i \sigma n(0,1)$,$\mathbf{w}^{*}$ から得られる。
統計学、計量学、時系列分析などの分野におけるヘテロシドスティックモデルの古典的応用に加えて、例えば大規模モデルトレーニングのような、異なるが不適切な品質の複数の情報源からデータが収集される場合、機械学習にも特に関係がある。
我々の研究は、$\tilde{o}\left(\|\mathbf{f}^{*}\|^2 \cdot \left(\frac{1}{n} + \left(\frac{d}{n}\right)^2\right)\right)$の誤差により二乗ノルムにおいて$\mathbf{w}^{*}$を推定し、一致する下界(対数係数まで)を証明できることを示した。
この結果は、これまでの最もよく知られた$\tilde{o}\left(\|\mathbf{f}^{*}\|^2\cdot \frac{d}{n}\right)$の上限を大幅に改善する。
我々の上界結果は、少なくともダビディアヌスとキャロル(1987年)に遡る単純古典的ヒューリスティックの新たな解析に基づいており、このアプローチに対する最初の非漸近収束保証を構成する。
副生成物として,本分析は線形回帰と位相探索の両方において,独立性のある乗法雑音による推定率の向上も提供する。
下位境界結果は、LeCamの2点法を慎重に適用することに依存しており、関連する相互情報量が無限である(LeCamの手法の直接適用を除く)重み付き確率変数を扱うように適応し、より広い関心を持つこともできる。
関連論文リスト
- In-depth Analysis of Low-rank Matrix Factorisation in a Federated Setting [21.002519159190538]
我々は分散アルゴリズムを解析し、$N$クライアント上で低ランク行列の分解を計算する。
グローバルな$mathbfV$ in $mathbbRd times r$をすべてのクライアントに共通とし、ローカルな$mathbfUi$ in $mathbbRn_itimes r$を得る。
論文 参考訳（メタデータ） (2024-09-13T12:28:42Z) - Sample-Efficient Linear Regression with Self-Selection Bias [7.605563562103568]
未知のインデックス設定における自己選択バイアスを伴う線形回帰の問題を考察する。
我々は,$mathbfw_1,ldots,mathbfw_kinを復元する,新しい,ほぼ最適なサンプル効率($k$)アルゴリズムを提案する。
このアルゴリズムは雑音の仮定をかなり緩めることに成功し、従って関連する最大線形回帰の設定にも成功している。
論文 参考訳（メタデータ） (2024-02-22T02:20:24Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Convergence of Alternating Gradient Descent for Matrix Factorization [5.439020425819001]
非対称行列分解対象に一定のステップサイズを施した交互勾配降下(AGD)について検討した。
階数-r$行列 $mathbfA in mathbbRm times n$, smoothness $C$ in the complexity $T$ to be a absolute constant。
論文 参考訳（メタデータ） (2023-05-11T16:07:47Z) - Misspecified Phase Retrieval with Generative Priors [15.134280834597865]
単一のインデックスモデル $y の $m$ i.d.realization から$n$-dimensional signal $mathbfx$ を推定する。
どちらのステップも、適切な条件下では、$sqrt(klog L)cdot (log m)/m$の統計的レートを享受できることが示される。
論文 参考訳（メタデータ） (2022-10-11T16:04:11Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix
Factorization [49.090785356633695]
非対称な低ランク分解問題: [mathbbRm min d , mathbfU$ および MathV$ について検討する。
論文 参考訳（メタデータ） (2021-06-27T17:25:24Z) - Optimal Mean Estimation without a Variance [103.26777953032537]
本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。
最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
論文 参考訳（メタデータ） (2020-11-24T22:39:21Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。