Fugu-MT 論文翻訳(概要): Stochastic Gradient Descent for Nonparametric Regression

論文の概要: Stochastic Gradient Descent for Nonparametric Regression

arxiv url: http://arxiv.org/abs/2401.00691v3
Date: Tue, 22 Oct 2024 15:06:05 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-23 14:26:18.578918
Title: Stochastic Gradient Descent for Nonparametric Regression
Title（参考訳）: 非パラメトリック回帰のための確率的グラディエントDescence
Authors: Xin Chen, Jason M. Klusowski,
Abstract要約: 本稿では,非パラメトリック加法モデルをトレーニングするための反復アルゴリズムを提案する。結果の不等式は、モデルの誤特定を可能にする託宣を満足していることが示される。
参考スコア（独自算出の注目度）: 11.24895028006405
License:
Abstract: This paper introduces an iterative algorithm for training nonparametric additive models that enjoys favorable memory storage and computational requirements. The algorithm can be viewed as the functional counterpart of stochastic gradient descent, applied to the coefficients of a truncated basis expansion of the component functions. We show that the resulting estimator satisfies an oracle inequality that allows for model mis-specification. In the well-specified setting, by choosing the learning rate carefully across three distinct stages of training, we demonstrate that its risk is minimax optimal in terms of the dependence on the dimensionality of the data and the size of the training sample. We also provide polynomial convergence rates even when the covariates do not have full support on their domain.
Abstract（参考訳）: 本稿では,メモリストレージと計算要求を満足する非パラメトリック加法モデルを反復的に学習するアルゴリズムを提案する。このアルゴリズムは確率勾配勾配の関数的対物と見なすことができ、成分関数の切り離された基底展開の係数に適用できる。得られた推定器は、モデルミス特定を可能にするオラクルの不等式を満たすことを示す。 3つの異なる訓練段階の学習速度を慎重に選択することにより、そのリスクがトレーニングサンプルのサイズとデータの寸法依存性の点で極小であることを示す。また、共変集合がそれらの領域を完全にサポートしていない場合でも、多項式収束率を提供する。

関連論文リスト

Branch and Bound to Assess Stability of Regression Coefficients in Uncertain Models [0.6990493129893112]
提案アルゴリズムは,数学的な結果のサポート,サンプルアプリケーション,コンピュータコードへのリンクなどとともに導入する。これは、研究者が高次元データを要約し、不確実なモデルにおける回帰係数の安定性を評価するのに役立つ。
論文参考訳（メタデータ） (2024-08-19T01:37:14Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文参考訳（メタデータ） (2022-11-20T12:29:06Z)
Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文参考訳（メタデータ） (2022-08-10T19:17:45Z)
Benign overfitting and adaptive nonparametric regression [71.70323672531606]
本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
論文参考訳（メタデータ） (2022-06-27T14:50:14Z)
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
論文参考訳（メタデータ） (2022-05-15T17:01:53Z)
Adaptive estimation of a function from its Exponential Radon Transform in presence of noise [0.0]
本稿では,ERT(Exponential Radon Transform)データから関数を推定するための局所適応型戦略を提案する。我々は、非パラメトリックカーネル型推定器を構築し、ソボレフ正則性尺度を構成する関数のクラスに対して、提案した戦略は、最大$logn$ factorまでのミニマックス最適率に従うことを示す。
論文参考訳（メタデータ） (2020-11-13T12:54:09Z)
Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文参考訳（メタデータ） (2020-11-03T09:46:31Z)
Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文参考訳（メタデータ） (2020-06-24T17:53:53Z)
Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文参考訳（メタデータ） (2020-05-22T22:30:52Z)
Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。