論文の概要: Transfer Learning with Random Coefficient Ridge Regression

• arxiv url: http://arxiv.org/abs/2306.15915v1
• Date: Wed, 28 Jun 2023 04:36:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 15:45:00.739256
• Title: Transfer Learning with Random Coefficient Ridge Regression
• Title（参考訳）: ランダム係数リッジ回帰を用いた伝達学習
• Authors: Hongzhe Zhang and Hongzhe Li
• Abstract要約: ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。 本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
• 参考スコア（独自算出の注目度）: 2.0813318162800707
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ridge regression with random coefficients provides an important alternative to fixed coefficients regression in high dimensional setting when the effects are expected to be small but not zeros. This paper considers estimation and prediction of random coefficient ridge regression in the setting of transfer learning, where in addition to observations from the target model, source samples from different but possibly related regression models are available. The informativeness of the source model to the target model can be quantified by the correlation between the regression coefficients. This paper proposes two estimators of regression coefficients of the target model as the weighted sum of the ridge estimates of both target and source models, where the weights can be determined by minimizing the empirical estimation risk or prediction risk. Using random matrix theory, the limiting values of the optimal weights are derived under the setting when $p/n \rightarrow \gamma$, where $p$ is the number of the predictors and $n$ is the sample size, which leads to an explicit expression of the estimation or prediction risks. Simulations show that these limiting risks agree very well with the empirical risks. An application to predicting the polygenic risk scores for lipid traits shows such transfer learning methods lead to smaller prediction errors than the single sample ridge regression or Lasso-based transfer learning.
• Abstract（参考訳）: ランダムな係数を持つリッジ回帰は、効果が小さいがゼロではないと期待される場合、高次元の設定で固定係数回帰に重要な代替となる。 本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察し,対象モデルからの観測に加えて,異なるが関連性のある回帰モデルからのサンプルも利用可能である。 対象モデルに対するソースモデルの情報性は、回帰係数の相関によって定量化することができる。 本稿では,実験的推定リスクや予測リスクを最小化して重みを決定できるターゲットモデルとソースモデルの両方のリッジ推定の重み付け和として,対象モデルの回帰係数を2つの推定器を提案する。 ランダム行列理論を用いて、最適重みの制限値は、$p/n \rightarrow \gamma$(ここで$p$は予測者の数、$n$はサンプルサイズ)という設定で導出され、推定や予測のリスクを明示的に表わす。 シミュレーションでは、これらの制限リスクは経験的リスクと非常によく一致している。 脂質特性に対するポリジェニックリスクスコアの予測への応用は, 単一試料隆起回帰法やラッソを用いた伝達学習法よりも, 予測誤差が小さいことを示す。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
  線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。 ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。 また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
  論文  参考訳（メタデータ） (2024-03-29T14:24:49Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)
• Prediction in latent factor regression: Adaptive PCR and beyond [2.9439848714137447]
  我々は、大きなクラスの予測子のリスクバウンドを確立するマスター定理を証明する。 主定理を用いて、最小ノルム補間予測器の既知のリスク境界を復元する。 理論的結果を裏付け,補完するための詳細なシミュレーション研究を締めくくった。
  論文  参考訳（メタデータ） (2020-07-20T12:42:47Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)
• Censored Quantile Regression Forest [81.9098291337097]
  我々は、検閲に適応し、データが検閲を示さないときに量子スコアをもたらす新しい推定方程式を開発する。 提案手法は, パラメトリックなモデリング仮定を使わずに, 時間単位の定量を推定することができる。
  論文  参考訳（メタデータ） (2020-01-08T23:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。