Fugu-MT 論文翻訳(概要): One-step corrected projected stochastic gradient descent for statistical estimation

論文の概要: One-step corrected projected stochastic gradient descent for statistical estimation

arxiv url: http://arxiv.org/abs/2306.05896v2
Date: Sat, 13 Apr 2024 13:17:27 GMT
ステータス: 処理完了
システム内更新日: 2024-04-17 00:07:07.222626
Title: One-step corrected projected stochastic gradient descent for statistical estimation
Title（参考訳）: 統計的推定のための一段階補正確率勾配降下法
Authors: Alexandre Brouste, Youssef Esstafa,
Abstract要約: これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
参考スコア（独自算出の注目度）: 49.1574468325115
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A generic, fast and asymptotically efficient method for parametric estimation is described. It is based on the projected stochastic gradient descent on the log-likelihood function corrected by a single step of the Fisher scoring algorithm. We show theoretically and by simulations that it is an interesting alternative to the usual stochastic gradient descent with averaging or the adaptative stochastic gradient descent.
Abstract（参考訳）: パラメトリック推定のための汎用的,高速かつ漸近的に効率的な手法について述べる。これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数様関数の確率勾配勾配に基づく。理論およびシミュレーションにより、平均化や適応的確率勾配降下を伴う通常の確率勾配降下の代替として興味深いものであることを示す。

関連論文リスト

Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文参考訳（メタデータ） (2024-10-21T09:39:10Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
On the influence of roundoff errors on the convergence of the gradient descent method with low-precision floating-point computation [0.0]
ゼロバイアス特性を小さな勾配を維持する確率で交換する新しいラウンドリング方式を提案する。提案手法は,各イテレーションにおいて降下方向にある一定の丸みバイアスを生じさせる。
論文参考訳（メタデータ） (2022-02-24T18:18:20Z)
Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。本稿では,完全勾配の必要性を除去する。集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文参考訳（メタデータ） (2021-11-26T06:00:44Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文参考訳（メタデータ） (2020-10-09T20:22:29Z)
Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文参考訳（メタデータ） (2020-06-26T15:19:43Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。