論文の概要: On Low-rank Trace Regression under General Sampling Distribution
- arxiv url: http://arxiv.org/abs/1904.08576v5
- Date: Tue, 29 Aug 2023 22:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 18:31:48.918287
- Title: On Low-rank Trace Regression under General Sampling Distribution
- Title（参考訳）: 一般サンプリング分布下における低ランクトレース回帰について
- Authors: Nima Hamidi and Mohsen Bayati
- Abstract要約: クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 9.699586426043885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the trace regression when a matrix of parameters B*
is estimated via the convex relaxation of a rank-regularized regression or via
regularized non-convex optimization. It is known that these estimators satisfy
near-optimal error bounds under assumptions on the rank, coherence, and
spikiness of B*. We start by introducing a general notion of spikiness for B*
that provides a generic recipe to prove the restricted strong convexity of the
sampling operator of the trace regression and obtain near-optimal and
non-asymptotic error bounds for the estimation error. Similar to the existing
literature, these results require the regularization parameter to be above a
certain theory-inspired threshold that depends on observation noise that may be
unknown in practice. Next, we extend the error bounds to cases where the
regularization parameter is chosen via cross-validation. This result is
significant in that existing theoretical results on cross-validated estimators
(Kale et al., 2011; Kumar et al., 2013; Abou-Moustafa and Szepesvari, 2017) do
not apply to our setting since the estimators we study are not known to satisfy
their required notion of stability. Finally, using simulations on synthetic and
real data, we show that the cross-validated estimator selects a near-optimal
penalty parameter and outperforms the theory-inspired approach of selecting the
parameter.
- Abstract（参考訳）: 本稿では,次数正規化回帰の凸緩和や正規化非凸最適化によってパラメータb*の行列が推定される場合のトレース回帰について検討する。
これらの推定子は、b* の階数、コヒーレンス、スピキネスの仮定の下で、最適に近い誤差境界を満たすことが知られている。
まず,B* に対してスパイキネスという一般的な概念を導入し,トレース回帰のサンプリング演算子の制限された強い凸性を証明し,推定誤差の近似的および非漸近的誤差境界を求める。
既存の文献と同様に、これらの結果は、実際に未知の観測ノイズに依存する特定の理論にインスパイアされた閾値を超える正規化パラメータを必要とする。
次に、正規化パラメータがクロスバリデーションによって選択される場合にエラー境界を拡張する。
この結果は、クロス評価推定器(kale et al., 2011; kumar et al., 2013; abou-moustafa and szepesvari, 2017)の既存の理論結果が、我々の設定に当てはまらないという点において重要である。
最後に,合成データおよび実データを用いたシミュレーションを用いて,交差評価推定器が最適に近いペナルティパラメータを選択し,そのパラメータを選択する理論に触発されたアプローチよりも優れることを示す。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。
まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。
理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
論文 参考訳（メタデータ） (2024-06-10T12:25:13Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Scalable method for Bayesian experimental design without integrating
over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。
A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。
本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文 参考訳（メタデータ） (2023-06-30T12:40:43Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Nonparametric Quantile Regression: Non-Crossing Constraints and
Conformal Prediction [2.654399717608053]
本稿では,線形単位ペナルティ関数を補正したディープニューラルネットワークを用いた非パラメトリック量子レグレッション法を提案し,量子交差を回避する。
提案した非パラメトリック量子化回帰関数推定器の過剰リスクに対する非漸近上界を確立する。
シミュレーション研究と実データ例を含む数値実験を行い,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2022-10-18T20:59:48Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap [4.142720557665472]
リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-17T05:04:10Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳（メタデータ） (2020-05-20T15:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。