論文の概要: Stochastic Gradient Descent for Additive Nonparametric Regression
- arxiv url: http://arxiv.org/abs/2401.00691v2
- Date: Tue, 13 Feb 2024 13:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 18:56:35.730776
- Title: Stochastic Gradient Descent for Additive Nonparametric Regression
- Title(参考訳): 付加的非パラメトリック回帰に対する確率的グラディエントDescence
- Authors: Xin Chen and Jason M. Klusowski
- Abstract要約: 本稿では,メモリストレージと計算要求を満足する加法モデルの反復的学習アルゴリズムを提案する。
得られた推定値が不等式を満たすことを示し,その不等式がモデルの誤特定を許容することを示した。
3つの異なる訓練段階の学習速度を慎重に選択することにより、そのリスクがトレーニングサンプルのサイズとデータの寸法依存性の点で極小であることを示す。
- 参考スコア(独自算出の注目度): 13.28914458950716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces an iterative algorithm for training additive models
that enjoys favorable memory storage and computational requirements. The
algorithm can be viewed as the functional counterpart of stochastic gradient
descent, applied to the coefficients of a truncated basis expansion of the
component functions. We show that the resulting estimator satisfies an oracle
inequality that allows for model mis-specification. In the well-specified
setting, by choosing the learning rate carefully across three distinct stages
of training, we demonstrate that its risk is minimax optimal in terms of the
dependence on the dimensionality of the data and the size of the training
sample. We further illustrate the computational benefits by comparing the
approach with traditional backfitting on two real-world datasets.
- Abstract(参考訳): 本稿では,メモリストレージと計算要求を満足する加算モデルの反復的学習アルゴリズムを提案する。
このアルゴリズムは、成分関数の切断基底展開の係数に適用される確率的勾配降下の関数対応と見なすことができる。
得られた推定器は、モデルミス特定を可能にするオラクルの不等式を満たすことを示す。
また, 3つの異なるトレーニング段階において, 学習率を慎重に選択することにより, そのリスクが, データの次元依存性, トレーニングサンプルのサイズに依存する点において, 最適であることを示す。
2つの実世界のデータセットに対する従来のバックフィッティングと比較することで、計算上のメリットをさらに説明します。
関連論文リスト
- Nonparametric Linear Feature Learning in Regression Through
Regularisation [0.0]
本研究では,データの低次元線形部分空間内に存在する情報を教師付き学習シナリオに焦点をあてる。
線形部分空間を同時に推定する非パラメトリック予測を用いた線形特徴学習法を提案する。
当社のアプローチでは,デリバティブに対するペナルティを付加した経験的リスク最小化を採用し,汎用性を確保している。
論文 参考訳(メタデータ) (2023-07-24T12:52:55Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Refining Amortized Posterior Approximations using Gradient-Based Summary
Statistics [0.9176056742068814]
逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。
そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
論文 参考訳(メタデータ) (2023-05-15T15:47:19Z) - Semiparametric Regression for Spatial Data via Deep Learning [17.63607438860882]
我々は、線形整列単位(ReLU)アクティベーション関数を持つ疎結合のディープニューラルネットワークを用いて、未知の回帰関数を推定する。
本手法は勾配勾配勾配最適化アルゴリズムにより, かなり大きなデータセットを処理できる。
論文 参考訳(メタデータ) (2023-01-10T01:55:55Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Feature space approximation for kernel-based supervised learning [2.653409741248232]
目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。
完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。
本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
論文 参考訳(メタデータ) (2020-11-25T11:23:58Z) - A Nonconvex Framework for Structured Dynamic Covariance Recovery [24.471814126358556]
時間変化のある2次統計量を持つ高次元データに対するフレキシブルで解釈可能なモデルを提案する。
文献によって動機付けられ,因子化とスムーズな時間データの定量化を行う。
私たちのアプローチは,既存のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-11-11T07:09:44Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。