論文の概要: Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation
- arxiv url: http://arxiv.org/abs/2403.19720v1
- Date: Wed, 27 Mar 2024 21:18:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:43:20.186536
- Title: Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation
- Title（参考訳）: 一般化リッジ回帰を用いたメタラーニング:高次元漸近,最適性,超共分散推定
- Authors: Yanhao Jin, Krishnakumar Balasubramanian, Debashis Paul,
- Abstract要約: 本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。
本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。
トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
- 参考スコア（独自算出の注目度）: 14.194212772887699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning involves training models on a variety of training tasks in a way that enables them to generalize well on new, unseen test tasks. In this work, we consider meta-learning within the framework of high-dimensional multivariate random-effects linear models and study generalized ridge-regression based predictions. The statistical intuition of using generalized ridge regression in this setting is that the covariance structure of the random regression coefficients could be leveraged to make better predictions on new tasks. Accordingly, we first characterize the precise asymptotic behavior of the predictive risk for a new test task when the data dimension grows proportionally to the number of samples per task. We next show that this predictive risk is optimal when the weight matrix in generalized ridge regression is chosen to be the inverse of the covariance matrix of random coefficients. Finally, we propose and analyze an estimator of the inverse covariance matrix of random regression coefficients based on data from the training tasks. As opposed to intractable MLE-type estimators, the proposed estimators could be computed efficiently as they could be obtained by solving (global) geodesically-convex optimization problems. Our analysis and methodology use tools from random matrix theory and Riemannian optimization. Simulation results demonstrate the improved generalization performance of the proposed method on new unseen test tasks within the considered framework.
- Abstract（参考訳）: メタラーニングには、さまざまなトレーニングタスクに関するトレーニングモデルが含まれており、新しい、目に見えないテストタスクをうまく一般化することができる。
本研究では,高次元多変量ランダム効果線形モデルの枠組み内でメタラーニングを考察し,一般化リッジ回帰に基づく予測について検討する。
この設定における一般化リッジ回帰を用いた統計的直観は、ランダム回帰係数の共分散構造を利用して新しいタスクをよりよく予測できるということである。
そこで本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な漸近挙動を特徴付ける。
次に、一般化リッジ回帰における重み行列がランダム係数の共分散行列の逆行列となるとき、この予測リスクが最適であることを示す。
最後に、学習課題のデータに基づいて、ランダム回帰係数の逆共分散行列の推定器を提案し、解析する。
難解なMLE型推定器とは対照的に、提案した推定器は(グローバルな)測地-凸最適化問題を解くことで得られるように効率的に計算できる。
我々の分析と方法論はランダム行列理論とリーマン最適化のツールを使用する。
シミュレーションの結果,提案手法の最適化性能が向上したことを示す。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - A Provably Accurate Randomized Sampling Algorithm for Logistic Regression [2.7930955543692817]
本稿では,ロジスティック回帰問題に対する単純なランダム化サンプリングに基づくアルゴリズムを提案する。
正確な近似は、観測総数よりもはるかに小さい試料で達成できることを示す。
概して、ロジスティック回帰における推定確率を効率的に近似するためにランダム化サンプリング手法を用いる可能性に光を当てている。
論文 参考訳（メタデータ） (2024-02-26T06:20:28Z) - A Novel Approach in Solving Stochastic Generalized Linear Regression via
Nonconvex Programming [1.6874375111244329]
本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。
提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1～2%以上よい結果を得た。
論文 参考訳（メタデータ） (2024-01-16T16:45:51Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2022-05-14T18:03:48Z) - Regression-based projection for learning Mori-Zwanzig operators [0.0]
本稿では,フォレスト・ズワンジッヒ形式論における演算子のデータ駆動学習を可能にするために,統計的回帰を射影演算子として採用することを提案する。
本稿では,森プロジェクション演算子に基づく最近提案されたデータ駆動学習アルゴリズムにおける線形回帰結果の選択について述べる。
論文 参考訳（メタデータ） (2022-05-10T19:35:47Z) - An Extended Multi-Model Regression Approach for Compressive Strength
Prediction and Optimization of a Concrete Mixture [0.0]
コンクリートの圧縮強度のモデルに基づく評価は, 強度予測と混合最適化の両方のために高い値である。
複数の回帰手法の重み付け組み合わせにより予測モデルの精度を向上させるためのさらなる一歩を踏み出す。
得られた多回帰モデルに基づいてGAに基づく混合最適化を提案する。
論文 参考訳（メタデータ） (2021-06-13T16:10:32Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Optimal Feature Manipulation Attacks Against Linear Regression [64.54500628124511]
本稿では,データセットに慎重に設計した有害なデータポイントを付加したり,元のデータポイントを修正したりすることで,線形回帰による係数の操作方法について検討する。
エネルギー予算を考慮し, 目標が指定された回帰係数を1つ変更する場合に, 最適毒素データ点の閉形式解をまず提示する。
次に、攻撃者が1つの特定の回帰係数を変更しつつ、他をできるだけ小さく変更することを目的とした、より困難なシナリオに分析を拡張します。
論文 参考訳（メタデータ） (2020-02-29T04:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。