論文の概要: Generalized Kernel Regularized Least Squares
- arxiv url: http://arxiv.org/abs/2209.14355v1
- Date: Wed, 28 Sep 2022 18:36:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:43:56.633592
- Title: Generalized Kernel Regularized Least Squares
- Title(参考訳): 一般化カーネル正規化最小正方形
- Authors: Qing Chang, Max Goplerud
- Abstract要約: 正規化最小平方(英: Regularized Least Squares, KRLS)は、変数間の複雑な関係を持つモデルを柔軟に推定する一般的な方法である。
既存のアプローチは柔軟性がなく、KRLSを固定効果や非線形結果のような理論的に動機付けられた拡張と組み合わせることができない。
一般化KRLS(gKRLS)を導入することにより,両問題に対処する。
我々は、gKRLSが1分以内で数万の観測結果を持つデータセットに適合できることを実証した。
- 参考スコア(独自算出の注目度): 5.388618836539744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel Regularized Least Squares (KRLS) is a popular method for flexibly
estimating models that may have complex relationships between variables.
However, its usefulness to many researchers is limited for two reasons. First,
existing approaches are inflexible and do not allow KRLS to be combined with
theoretically-motivated extensions such as fixed effects or non-linear
outcomes. Second, estimation is extremely computationally intensive for even
modestly sized datasets.
Our paper addresses both concerns by introducing generalized KRLS (gKRLS). We
note that KRLS can be re-formulated as a hierarchical model thereby allowing
easy inference and modular model construction. Computationally, we also
implement random sketching to dramatically accelerate estimation while
incurring a limited penalty in estimation quality. We demonstrate that gKRLS
can be fit on datasets with tens of thousands of observations in under one
minute. Further, state-of-the-art techniques that require fitting the model
over a dozen times (e.g. meta-learners) can be estimated quickly.
- Abstract(参考訳): Kernel Regularized Least Squares (KRLS) は、変数間の複雑な関係を持つモデルを柔軟に推定する一般的な方法である。
しかし、多くの研究者にとって有用性には2つの理由がある。
第一に、既存のアプローチは柔軟性がなく、KRLSを固定効果や非線形結果のような理論的に動機付けられた拡張と組み合わせることができない。
第二に、控えめな大きさのデータセットでは、推定は非常に計算集約的です。
本稿では、一般化KRLS(gKRLS)を導入することにより、両方の問題に対処する。
KRLSは階層モデルとして再構成できるので、推論やモジュラーモデルの構築が容易である。
また,予測品質の制限を伴いながら,推定を劇的に高速化するためにランダムスケッチを実装した。
我々は、gKRLSが1分以内で数万の観測結果を持つデータセットに適合できることを実証した。
さらに、モデルに何十回も適合する必要のある最先端技術(メタラーナーなど)を素早く推定することができる。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Accelerating Generalized Linear Models by Trading off Computation for
Uncertainty [29.877181350448193]
一般化線形モデル(GLM)は、分類的、順序的、連続的なデータをモデル化するための柔軟な確率的フレームワークを定義する。
結果の近似誤差はモデルの信頼性に悪影響を及ぼし、予測の不確実性を考慮しない。
このエラーを明示的にモデル化する反復的手法のファミリーを紹介します。
論文 参考訳(メタデータ) (2023-10-31T08:58:16Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Supervised Multivariate Learning with Simultaneous Feature Auto-grouping
and Dimension Reduction [7.093830786026851]
本稿では,クラスタ化低ランク学習フレームワークを提案する。
2つの合同行列正則化を課し、予測因子を構成する特徴を自動的にグループ化する。
低ランクなモデリングよりも解釈可能であり、変数選択における厳密な空間性仮定を緩和する。
論文 参考訳(メタデータ) (2021-12-17T20:11:20Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Scalable Spatiotemporally Varying Coefficient Modeling with Bayesian
Kernelized Tensor Regression [3.0616624345970975]
計算コストによる大規模高時間解析にSTVCを適用することは困難である。
モデル推論のための効率的なマルコフ連鎖モンテカルロアルゴリズムを開発した。
その結果,モデル推定およびパラメータ推定におけるBKTRの優れた性能と効率性が確認された。
論文 参考訳(メタデータ) (2021-08-31T19:22:23Z) - Oversampling Divide-and-conquer for Response-skewed Kernel Ridge
Regression [20.00435452480056]
本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。
提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
論文 参考訳(メタデータ) (2021-07-13T04:01:04Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳(メタデータ) (2021-05-17T17:22:07Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。