Fugu-MT 論文翻訳(概要): Stochastic Gradient Descent for Additive Nonparametric Regression

論文の概要: Stochastic Gradient Descent for Additive Nonparametric Regression

arxiv url: http://arxiv.org/abs/2401.00691v1
Date: Mon, 1 Jan 2024 08:03:52 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 16:22:05.974141
Title: Stochastic Gradient Descent for Additive Nonparametric Regression
Title（参考訳）: 付加的非パラメトリック回帰に対する確率的グラディエントDescence
Authors: Xin Chen and Jason M. Klusowski
Abstract要約: 得られた推定器はモデルミス種別を許容する不等式を満たすことを示す。十分に特定された環境では、3つの異なる訓練段階の学習率を慎重に選択することにより、そのリスクが極小であることを示す。
参考スコア（独自算出の注目度）: 13.28914458950716
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces an iterative algorithm designed to train additive models with favorable memory storage and computational requirements. The algorithm can be viewed as the functional counterpart of stochastic gradient descent, applied to the coefficients of a truncated basis expansion of the component functions. We show that the resulting estimator satisfies an oracle inequality that allows for model mispecification. In the well-specified setting, by choosing the learning rate carefully across three distinct stages of training, we prove that its risk is minimax optimal in terms of the dependence on the dimensionality of the data and the size of the training sample.
Abstract（参考訳）: 本稿では,メモリストレージと計算条件が良好な添加モデルを学習するための反復アルゴリズムを提案する。このアルゴリズムは、成分関数の切断基底展開の係数に適用される確率的勾配降下の関数対応と見なすことができる。得られた推定器は、モデルミス種別を可能にするオラクルの不等式を満たすことを示す。また, 3つの異なるトレーニング段階において, 学習率を慎重に選択することで, そのリスクがデータの次元依存性やトレーニングサンプルのサイズに依存し, 最適であることを示す。

関連論文リスト

Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。このような問題は医学、物理学、機械学習で発生する。両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文参考訳（メタデータ） (2024-11-21T10:26:17Z)
Branch and Bound to Assess Stability of Regression Coefficients in Uncertain Models [0.6990493129893112]
提案アルゴリズムは,数学的な結果のサポート,サンプルアプリケーション,コンピュータコードへのリンクなどとともに導入する。これは、研究者が高次元データを要約し、不確実なモデルにおける回帰係数の安定性を評価するのに役立つ。
論文参考訳（メタデータ） (2024-08-19T01:37:14Z)
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文参考訳（メタデータ） (2022-11-20T12:29:06Z)
Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文参考訳（メタデータ） (2022-08-10T19:17:45Z)
Benign overfitting and adaptive nonparametric regression [71.70323672531606]
本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
論文参考訳（メタデータ） (2022-06-27T14:50:14Z)
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
論文参考訳（メタデータ） (2022-05-15T17:01:53Z)
Adaptive estimation of a function from its Exponential Radon Transform in presence of noise [0.0]
本稿では,ERT(Exponential Radon Transform)データから関数を推定するための局所適応型戦略を提案する。我々は、非パラメトリックカーネル型推定器を構築し、ソボレフ正則性尺度を構成する関数のクラスに対して、提案した戦略は、最大$logn$ factorまでのミニマックス最適率に従うことを示す。
論文参考訳（メタデータ） (2020-11-13T12:54:09Z)
Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文参考訳（メタデータ） (2020-11-03T09:46:31Z)
Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文参考訳（メタデータ） (2020-06-24T17:53:53Z)
Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文参考訳（メタデータ） (2020-05-22T22:30:52Z)
Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。