Fugu-MT 論文翻訳(概要): Neurons learn slower than they think

論文の概要: Neurons learn slower than they think

arxiv url: http://arxiv.org/abs/2104.02578v1
Date: Fri, 2 Apr 2021 09:09:52 GMT
ステータス: 処理完了
システム内更新日: 2021-04-07 14:22:17.297877
Title: Neurons learn slower than they think
Title（参考訳）: ニューロンは考えるよりもゆっくり学習する
Authors: Ilona Kulikovskikh
Abstract要約: 本研究は最適化プロセスにtextitdifferential機能を導入する。分類問題において、モデルが決定境界に近づくほどテスト精度が向上するかどうかを測定する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies revealed complex convergence dynamics in gradient-based methods, which has been little understood so far. Changing the step size to balance between high convergence rate and small generalization error may not be sufficient: maximizing the test accuracy usually requires a larger learning rate than minimizing the training loss. To explore the dynamic bounds of convergence rate, this study introduces \textit{differential capability} into an optimization process, which measures whether the test accuracy increases as fast as a model approaches the decision boundary in a classification problem. The convergence analysis showed that: 1) a higher convergence rate leads to slower capability growth; 2) a lower convergence rate results in faster capability growth and decay; 3) regulating a convergence rate in either direction reduces differential capability.
Abstract（参考訳）: 近年の研究では, 勾配法における複雑な収束ダイナミクスが明らかにされているが, これまでのところほとんど分かっていない。高い収束率と小さな一般化誤差のバランスにステップサイズを変更するだけでは不十分である。テスト精度を最大化するには、通常、トレーニング損失を最小化するよりも、大きな学習レートが必要になる。本研究は,収束率の動的境界を探索するために,最適化プロセスに \textit{differential capability} を導入することで,モデルが分類問題において決定境界に近づくほど,テスト精度が向上するかどうかを測定する。収束解析の結果, 1) 高い収束速度は能力の増大を遅らせる,2) 低い収束速度は能力の増大と崩壊を早める,3) どちらの方向にも収束速度を調整すれば能力の差が減少する,という結果が得られた。

関連論文リスト

On the Convergence Rates of Federated Q-Learning across Heterogeneous Environments [6.6089456297043245]
同期型Q-ラーニングについて検討し、K$エージェントをローカルQ-estimates per $E$ iterationsの平均値にすることで最適なQ-関数を学習することを目的とする。収束速度に関する興味深い現象を、$K$と$E$という観点から観察する。我々は、幅広い段階において、エラーの $ell_infty$ ノルムが $Theta (E/T)$ よりも早く崩壊できないことを証明している。
論文参考訳（メタデータ） (2024-09-05T20:09:56Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文参考訳（メタデータ） (2023-11-19T14:56:26Z)
Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。これら2つの境界は、収束率の正確な特徴づけを与える。このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
論文参考訳（メタデータ） (2023-02-20T15:33:26Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Super-Convergence with an Unstable Learning Rate [20.13887962999915]
従来の知恵は、学習率が安定的な体制にあるべきであり、勾配に基づくアルゴリズムが爆発しないようにしている。ここでは、不安定な学習率スキームが超高速収束をもたらす単純なシナリオを紹介する。我々は周期的に大きな不安定なステップといくつかの小さな安定ステップを取り、不安定さを補うサイクル学習率を用いている。
論文参考訳（メタデータ） (2021-02-22T02:05:47Z)
A Qualitative Study of the Dynamic Behavior for Adaptive Gradient Algorithms [12.865834066050427]
RMSpropとAdamのアルゴリズムは、注意深い数値実験と理論的説明を組み合わせることで研究されている。トレーニング損失曲線では, 早期収束, 発振, 大スパイクの3種類の定性的特徴が観察された。
論文参考訳（メタデータ） (2020-09-14T00:33:48Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks [22.618779809748435]
既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
論文参考訳（メタデータ） (2020-06-24T16:49:29Z)
Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。