Fugu-MT 論文翻訳(概要): The NTK approximation is valid for longer than you think

論文の概要: The NTK approximation is valid for longer than you think

arxiv url: http://arxiv.org/abs/2305.13141v1
Date: Mon, 22 May 2023 15:34:10 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 14:58:35.715634
Title: The NTK approximation is valid for longer than you think
Title（参考訳）: NTK近似は、あなたが思う以上に長く有効である
Authors: Enric Boix-Adsera, Etai Littwin
Abstract要約: このモデルを$alpha = O(T)$ sufficesで再スケーリングすると、NTK近似はトレーニング時間$T$まで有効であることが示される。我々の境界は固く、以前のChizatらによる2019年の限界を改善しており、これは$alpha = O(T2)$という大きな再スケーリング係数を必要とした。
参考スコア（独自算出の注目度）: 7.868449549351486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study when the neural tangent kernel (NTK) approximation is valid for training a model with the square loss. In the lazy training setting of Chizat et al. 2019, we show that rescaling the model by a factor of $\alpha = O(T)$ suffices for the NTK approximation to be valid until training time $T$. Our bound is tight and improves on the previous bound of Chizat et al. 2019, which required a larger rescaling factor of $\alpha = O(T^2)$.
Abstract（参考訳）: 正方形損失を有するモデルのトレーニングにおいて,ニューラルタンジェントカーネル(NTK)近似が有効であるかどうかを検討した。 chizat et al. 2019 の遅延トレーニング設定では、ntk近似に対する$\alpha = o(t)$ suffices の係数でモデルを再スケーリングすることで、トレーニング時間が $t$ になるまで有効になることを示した。我々の限界は、以前のChizatらによる2019年の限界よりも強く改善されており、これはより大きな再スケーリング係数である$\alpha = O(T^2)$を必要とした。

関連論文リスト

Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文参考訳（メタデータ） (2024-11-12T11:30:53Z)
Restricted Strong Convexity of Deep Learning Models with Smooth Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。 Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文参考訳（メタデータ） (2022-09-29T21:24:26Z)
Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文参考訳（メタデータ） (2022-08-09T02:29:42Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
論文参考訳（メタデータ） (2022-06-08T06:06:51Z)
High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文参考訳（メタデータ） (2022-05-03T12:09:59Z)
Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文参考訳（メタデータ） (2021-06-15T04:44:52Z)
On the Convergence of Step Decay Step-Size for Stochastic Optimization [27.02857082612736]
神経系の収束は、特にネットワーク問題などの非数学問題において、ステップサイズ率に大きく依存する。非スムース状態における崩壊の収束を提供し、勾配ノルムが消えることを保証する。強い凸の場合、$(T/ST)$レートを確立し、$(T/ST)$レートであることも証明します。
論文参考訳（メタデータ） (2021-02-18T14:37:25Z)
Efficient Learning in Non-Stationary Linear Markov Decision Processes [17.296084954104415]
非定常線形(低ランク)マルコフ決定過程(MDP)におけるエピソード強化学習の研究 OPT-WLSVI は最小二乗の重み付け値に基づく楽観的なモデルフリーのアルゴリズムであり、指数重み付けを用いて過去のデータをスムーズに忘れる。我々のアルゴリズムは、各時点で最高のポリシーと競合するときに、$d$$$widetildemathcalO(d5/4H2 Delta1/4 K3/4)$で上限付けられた後悔を実現する。
論文参考訳（メタデータ） (2020-10-24T11:02:45Z)
Almost Optimal Model-Free Reinforcement Learning via Reference-Advantage Decomposition [59.34067736545355]
有限水平型マルコフ決定過程(MDP)における強化学習問題を,S$状態,A$動作,エピソード長$H$を用いて検討した。モデルフリーアルゴリズム UCB-Advantage を提案し、$T = KH$ および $K$ が再生すべきエピソード数である場合に $tildeO(sqrtH2SAT)$ regret を達成することを証明した。
論文参考訳（メタデータ） (2020-04-21T14:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。