論文の概要: Noise Covariance Estimation in Multi-Task High-dimensional Linear Models
- arxiv url: http://arxiv.org/abs/2206.07256v1
- Date: Wed, 15 Jun 2022 02:37:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 08:18:54.911628
- Title: Noise Covariance Estimation in Multi-Task High-dimensional Linear Models
- Title（参考訳）: マルチタスク高次元線形モデルにおける雑音共分散推定
- Authors: Kai Tan, Gabriel Romon, and Pierre C Bellec
- Abstract要約: 本稿では,タスク間のノイズが相関するマルチタスク高次元線形回帰モデルについて検討する。
回帰係数をニュアンスパラメータとして扱い、マルチタスク弾性ネットとマルチタスクラッソ推定器を用いてニュアンスを推定する。
適切な条件下では、提案した推定器は「おかしな」推定器と同じ収束率に達する。
- 参考スコア（独自算出の注目度）: 8.807375890824977
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper studies the multi-task high-dimensional linear regression models
where the noise among different tasks is correlated, in the moderately high
dimensional regime where sample size $n$ and dimension $p$ are of the same
order. Our goal is to estimate the covariance matrix of the noise random
vectors, or equivalently the correlation of the noise variables on any pair of
two tasks. Treating the regression coefficients as a nuisance parameter, we
leverage the multi-task elastic-net and multi-task lasso estimators to estimate
the nuisance. By precisely understanding the bias of the squared residual
matrix and by correcting this bias, we develop a novel estimator of the noise
covariance that converges in Frobenius norm at the rate $n^{-1/2}$ when the
covariates are Gaussian. This novel estimator is efficiently computable.
Under suitable conditions, the proposed estimator of the noise covariance
attains the same rate of convergence as the "oracle" estimator that knows in
advance the regression coefficients of the multi-task model. The Frobenius
error bounds obtained in this paper also illustrate the advantage of this new
estimator compared to a method-of-moments estimator that does not attempt to
estimate the nuisance.
As a byproduct of our techniques, we obtain an estimate of the generalization
error of the multi-task elastic-net and multi-task lasso estimators. Extensive
simulation studies are carried out to illustrate the numerical performance of
the proposed method.
- Abstract（参考訳）: 本稿では,サンプルサイズ$n$ と次元 $p$ が同じ順序である中程度の高次元環境において,タスク間のノイズが相関するマルチタスク高次元線形回帰モデルについて検討する。
本研究の目的は,雑音ランダムベクトルの共分散行列を推定すること,あるいは2つのタスクにおける雑音変数の相関を等価に推定することである。
回帰係数をニュアサンスパラメータとして扱い,マルチタスク elastic-net と multi-task lasso estimator を用いてニュアザンスを推定する。
正方行列のバイアスを正確に理解し、このバイアスを補正することにより、コ変数がガウス的であるとき、フロベニウスノルムに収束する雑音共分散の新しい推定器を開発する。
この新しい推定器は効率よく計算できる。
適切な条件下では、提案したノイズ共分散の推定器は、マルチタスクモデルの回帰係数を事前に知っている「軌道」推定器と同じ収束率が得られる。
本論文で得られたフロベニウス誤差境界は, ニュアンスを推定しようとしないモーメント推定器と比較して, この新しい推定器の利点も示している。
本手法の副産物として,マルチタスクelastic-netおよびマルチタスクlasso推定器の一般化誤差を推定する。
提案手法の数値的性能を示すために, 詳細なシミュレーション実験を行った。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
両問題に同時に対処する2ビット共分散行列推定器を提案する。
エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。
提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
論文 参考訳（メタデータ） (2023-08-30T14:31:24Z) - Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings [0.5735035463793009]
2つの利用可能なデータセットを特徴とする半教師付き環境での量子推定を考察する。
本稿では,2つのデータセットに基づいて,応答量子化(s)に対する半教師付き推定器群を提案する。
論文 参考訳（メタデータ） (2022-01-25T10:02:23Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Large Non-Stationary Noisy Covariance Matrices: A Cross-Validation
Approach [1.90365714903665]
金融時系列のヘテロシデスティックな性質を利用する新しい共分散推定器を提案する。
断面次元と時系列次元の両方のノイズを減衰させることにより、我々は、競合する推定器に対する推定器の優位性を実証的に実証する。
論文 参考訳（メタデータ） (2020-12-10T15:41:17Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。
Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。
クリッピング推定器と呼ばれる新しい推定器を提案する。
論文 参考訳（メタデータ） (2020-05-07T17:21:56Z) - Estimating Gradients for Discrete Random Variables by Sampling without
Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。
推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文 参考訳（メタデータ） (2020-02-14T14:15:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。