Fugu-MT 論文翻訳(概要): Framing RNN as a kernel method: A neural ODE approach

論文の概要: Framing RNN as a kernel method: A neural ODE approach

arxiv url: http://arxiv.org/abs/2106.01202v1
Date: Wed, 2 Jun 2021 14:46:40 GMT
ステータス: 処理完了
システム内更新日: 2021-06-03 14:42:17.530936
Title: Framing RNN as a kernel method: A neural ODE approach
Title（参考訳）: カーネル手法としてのRNNのフラーミング:ニューラルODEアプローチ
Authors: Adeline Fermanian, Pierre Marion, Jean-Philippe Vert, G\'erard Biau
Abstract要約: 我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
参考スコア（独自算出の注目度）: 11.374487003189468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Building on the interpretation of a recurrent neural network (RNN) as a continuous-time neural differential equation, we show, under appropriate conditions, that the solution of a RNN can be viewed as a linear function of a specific feature set of the input sequence, known as the signature. This connection allows us to frame a RNN as a kernel method in a suitable reproducing kernel Hilbert space. As a consequence, we obtain theoretical guarantees on generalization and stability for a large class of recurrent networks. Our results are illustrated on simulated datasets.
Abstract（参考訳）: リカレントニューラルネットワーク(recurrent neural network, rnn)を連続時間神経微分方程式として解釈し、適切な条件下では、rnnの解は、シグネチャとして知られる入力シーケンスの特定の特徴集合の線形関数と見なすことができることを示した。この接続により、適切な再生カーネルヒルベルト空間において、RNNをカーネルメソッドとしてフレーム化することができる。その結果、大規模な再帰型ネットワークの一般化と安定性に関する理論的保証が得られる。その結果はシミュレーションデータセットで示される。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。同時に、精度の向上を制限するために作用する副作用も発見する。
論文参考訳（メタデータ） (2024-04-17T12:22:54Z)
Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data Sequences [0.0]
我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
論文参考訳（メタデータ） (2023-08-28T13:17:39Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文参考訳（メタデータ） (2022-04-11T05:38:38Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。提案するRNNは, 2次常微分方程式系の時間分解に基づく。実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文参考訳（メタデータ） (2020-10-02T12:35:04Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory [5.33024001730262]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。非平衡統計力学からの応答理論を用いてRNNが入力信号を処理する方法を示す。
論文参考訳（メタデータ） (2020-06-19T10:09:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。