Fugu-MT 論文翻訳(概要): A note on regularised NTK dynamics with an application to PAC-Bayesian training

論文の概要: A note on regularised NTK dynamics with an application to PAC-Bayesian training

arxiv url: http://arxiv.org/abs/2312.13259v1
Date: Wed, 20 Dec 2023 18:36:05 GMT
ステータス: 処理完了
システム内更新日: 2023-12-21 14:28:56.849222
Title: A note on regularised NTK dynamics with an application to PAC-Bayesian training
Title（参考訳）: 正規化NTKダイナミクスに関する一考察 : PAC-Bayesian トレーニングへの応用
Authors: Eugenio Clerico, Benjamin Guedj
Abstract要約: 本研究では,PAC-Bayes境界などの一般化目標を最適化するために訓練されたニューラルネットワークの進化について検討する。この設定は、一般化の目的を最適化するために訓練された広いネットワークの進化を研究するための適切なフレームワークを提供する。
参考スコア（独自算出の注目度）: 18.97829627151844
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We establish explicit dynamics for neural networks whose training objective has a regularising term that constrains the parameters to remain close to their initial value. This keeps the network in a lazy training regime, where the dynamics can be linearised around the initialisation. The standard neural tangent kernel (NTK) governs the evolution during the training in the infinite-width limit, although the regularisation yields an additional term appears in the differential equation describing the dynamics. This setting provides an appropriate framework to study the evolution of wide networks trained to optimise generalisation objectives such as PAC-Bayes bounds, and hence potentially contribute to a deeper theoretical understanding of such networks.
Abstract（参考訳）: トレーニング対象が初期値に近いパラメータを制約する正規化項を持つニューラルネットワークに対して、明示的なダイナミクスを確立する。これにより、ネットワークを遅延トレーニングレジームに保ち、初期化の周りでダイナミクスを線形化することができる。標準神経接核(NTK)は無限幅極限でのトレーニング中に進化を制御しているが、正規化は力学を記述する微分方程式に付加的な項が現れる。この設定は、PAC-Bayes境界のような一般化目標を最適化するために訓練された広いネットワークの進化を研究するための適切なフレームワークを提供する。

関連論文リスト

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-07-24T09:30:04Z)
An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
論文参考訳（メタデータ） (2023-12-06T09:52:18Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Identifying Equivalent Training Dynamics [3.793387630509845]
共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
論文参考訳（メタデータ） (2023-02-17T22:15:20Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
Edge of chaos as a guiding principle for modern neural network training [19.419382003562976]
ニューラルネットワーク学習アルゴリズムにおける様々なハイパーパラメータの役割を秩序-カオス位相図を用いて検討する。特に、広く採用されているFashion-MNISTデータセットに基づいて、完全に解析的なフィードフォワードニューラルネットワークについて検討する。
論文参考訳（メタデータ） (2021-07-20T12:17:55Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization [18.424756271923524]
我々は,FCN (Fully Connected Networks) や畳み込みニューラルネットワーク (Convolutional Neural Networks, CNN) など,さまざまなアーキテクチャにおける超広帯域ネットワークのダイナミクスについて検討する。
論文参考訳（メタデータ） (2020-04-13T11:12:53Z)
Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。これらのネットワークの動作原理は、完全には理解されていない。このようなネットワークの力学の新たな解析法を提案する。
論文参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。