Fugu-MT 論文翻訳(概要): Arithmetic Simplicity in Stochastic Gradient Methods

論文の概要: Arithmetic Simplicity in Stochastic Gradient Methods

arxiv url: http://arxiv.org/abs/2609.32240v1
Date: Sat, 26 Sep 2026 04:57:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 18:34:06.808519
Title: Arithmetic Simplicity in Stochastic Gradient Methods
Title（参考訳）: 確率的勾配法における算術的単純性
Abstract要約: 我々はAdaGrad,Adam,AdamWを算術的に単純な勾配法に変換する方法を示す。収束解析は、算術的に単純である静的アダムに対して与えられる。
参考スコア（独自算出の注目度）: 13.868588463676803
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A gradient descent method is arithmetically simple if the operations are limited to $+,-, \times$, and division $x/2^t$ with integer $t$. An arthmetically simple gradient method is easy to implement in chip design. We show how to transform AdaGrad, Adam, and AdamW into arithmetically simple. AdamW is based on the recursion $x_{t+1}=(1-λη)x_t-\frac{η}{s}m_t$ and Adam is the special case of AdamW with $λ=0$. We transform them into a static case with $s=S(T)$, where $T$ is the number of iterations, and $S(T)$ is a fixed function. The convergence analysis is given for a static Adam, which is also arithmetically simple.
Abstract（参考訳）: 勾配降下法は、演算が$+,-, \times$, and division $x/2^t$ with integer $t$に制限されている場合、算術的に単純である。地質学的に単純な勾配法はチップ設計で容易に実装できる。 AdaGrad、Adam、AdamWを算術的に単純にする方法を示す。 AdamW は再帰$x_{t+1}=(1-λη)x_t-\frac{η}{s}m_t$ に基づいており、AdamW は$λ=0$ の特別の場合である。それらを $s=S(T)$ で静的ケースに変換し、$T$ は反復数、$S(T)$ は固定関数とする。収束解析は、算術的に単純である静的アダムに対して与えられる。

関連論文リスト

Adaptivity via a Parallel Architecture for Stochastic Gradient Methods Adaptivity via a Parallel Architecture for Stochastic Gradient Methods Adaptivity via a Parallel Architecture for Stochastic Gradient Methods [17.47003987676889]
適応性を向上するために静的勾配法を組み立てる並列フレームワークを開発する。静的勾配法は、初期点 $x_0inmathbbRn$ と $Tin mathbbR+$ を入力として、反復数 $floorT$ を指定する。
論文参考訳（メタデータ） (2026-07-31T00:02:30Z)
Hard labels sampled from sparse targets mislead rotation invariant algorithms [6.565070116874382]
バイナリロジスティック回帰では、フィードバックはデータの真の条件付き確率に対応するソフトラベルか、あるいはハードラベルをサンプリングすることができる。条件分布$(mathbfx_itopmathbfwstar)$と$mathbfwstar$が$s$-sparseである場合、回転不変アルゴリズムは確実に準最適であることを示す。
論文参考訳（メタデータ） (2026-03-21T22:38:24Z)
HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization [43.39364515909059]
モーメントベースのSGDを返却することで,効率的なAdamアルゴリズム(HomeAdam(W))のクラスを提案する。我々は、HomeAdam(W) が$O(frac1N)$よりも小さい一般化誤差を持つことを証明している。
論文参考訳（メタデータ） (2026-03-03T06:29:24Z)
Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination [65.37519531362157]
このタスクに対する効率的な統計的クエリアルゴリズムは、VSTATの複雑さを少なくとも$tildeOmega(d1/2/alpha2)$で要求する。
論文参考訳（メタデータ） (2025-10-12T15:42:44Z)
Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method [10.742859956268655]
本稿では,レバレッジスコア勾配から固有モデルパラメータを復元することを目的とする。具体的には、レバレッジスコア勾配の逆転を$g(x)$として精査する。
論文参考訳（メタデータ） (2024-08-21T01:39:42Z)
Efficient Continual Finite-Sum Minimization [52.5238287567572]
連続有限サム最小化(continuous finite-sum minimization)と呼ばれる有限サム最小化の鍵となるツイストを提案する。我々のアプローチは$mathcalO(n/epsilon)$ FOs that $mathrmStochasticGradientDescent$で大幅に改善されます。また、$mathcalOleft(n/epsilonalpharight)$ complexity gradient for $alpha 1/4$という自然な一階法は存在しないことを証明し、この方法の第一階法がほぼ密であることを示す。
論文参考訳（メタデータ） (2024-06-07T08:26:31Z)
Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文参考訳（メタデータ） (2020-11-21T01:33:15Z)
$Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文参考訳（メタデータ） (2020-06-16T13:01:33Z)
Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity [59.34067736545355]
S$状態、$A$アクション、割引係数$gamma in (0,1)$、近似しきい値$epsilon > 0$の MDP が与えられた場合、$epsilon$-Optimal Policy を学ぶためのモデルなしアルゴリズムを提供する。十分小さな$epsilon$の場合、サンプルの複雑さで改良されたアルゴリズムを示す。
論文参考訳（メタデータ） (2020-06-06T13:34:41Z)
Tree-Projected Gradient Descent for Estimating Gradient-Sparse Parameters on Graphs [10.846572437131872]
mathbbRp$における勾配スパースパラメータの$boldsymboltheta*の推定について検討した。損失に対する厳密な凸性および滑らかさの仮定が適切に制限されている場合、この推定器は、$G$とは独立な乗法定数までの2乗誤差リスク $fracs*n log (1+fracps*)$を達成する。
論文参考訳（メタデータ） (2020-05-31T20:08:13Z)
A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。