論文の概要: On Non-asymptotic Theory of Recurrent Neural Networks in Temporal Point Processes

• arxiv url: http://arxiv.org/abs/2406.00630v1
• Date: Sun, 2 Jun 2024 06:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 04:06:06.982536
• Title: On Non-asymptotic Theory of Recurrent Neural Networks in Temporal Point Processes
• Title（参考訳）: 時間点過程におけるリカレントニューラルネットワークの非漸近理論について
• Authors: Zhiheng Chen, Guanhua Fang, Wen Yu,
• Abstract要約: 時間的ポイントプロセス(TPP)は、様々な領域にわたる不規則な時間的イベントをモデル化し、予測するための重要なツールである。 最近のニューラルネットワーク(RNN)ベースのTPPは、従来のパラメトリックTPPモデルよりも実用的な優位性を示している。 本稿では,よく知られたTPP設定の下で,RNN-TPPの過剰なリスク境界を確立する。
• 参考スコア（独自算出の注目度）: 10.4442505961159
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal point process (TPP) is an important tool for modeling and predicting irregularly timed events across various domains. Recently, the recurrent neural network (RNN)-based TPPs have shown practical advantages over traditional parametric TPP models. However, in the current literature, it remains nascent in understanding neural TPPs from theoretical viewpoints. In this paper, we establish the excess risk bounds of RNN-TPPs under many well-known TPP settings. We especially show that an RNN-TPP with no more than four layers can achieve vanishing generalization errors. Our technical contributions include the characterization of the complexity of the multi-layer RNN class, the construction of $\tanh$ neural networks for approximating dynamic event intensity functions, and the truncation technique for alleviating the issue of unbounded event sequences. Our results bridge the gap between TPP's application and neural network theory.
• Abstract（参考訳）: 時間的ポイントプロセス(TPP)は、様々な領域にわたる不規則な時間的イベントをモデル化し、予測するための重要なツールである。 近年、リカレントニューラルネットワーク(RNN)ベースのTPPは、従来のパラメトリックTPPモデルよりも実用的な優位性を示している。 しかし、現在の文献では、理論的な観点からの神経性TPPの理解はいまだに始まったばかりである。 本稿では,よく知られたTPP設定の下で,RNN-TPPの過剰なリスク境界を確立する。 特に,4層以内のRNN-TPPは,消滅する一般化誤差を実現できることを示す。 我々の技術貢献には、多層RNNクラスの複雑さのキャラクタリゼーション、動的事象強度関数を近似する$\tanh$のニューラルネットワークの構築、非有界事象列の問題を緩和するためのトランケーション技術が含まれる。 我々の結果は、TPPの応用とニューラルネットワーク理論のギャップを埋めるものである。

関連論文リスト

• Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
  CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す 提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。 コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
  論文  参考訳（メタデータ） (2024-02-01T07:21:30Z)
• PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。 我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。 PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
  論文  参考訳（メタデータ） (2023-07-21T18:06:27Z)
• Intensity-free Convolutional Temporal Point Process: Incorporating Local and Global Event Contexts [30.534921874640585]
  本稿では、連続時間畳み込みイベントエンコーダとRNNを統合することにより、ローカルコンテキストとグローバルコンテキストを組み合わせた新しいTPPモデリング手法を提案する。 提示されたフレームワークは柔軟でスケーラブルで、長いシーケンスと複雑な潜伏パターンを持つ大きなデータセットを扱うことができる。 我々の知る限りでは、これはTPPモデリングに畳み込みニューラルネットワークを適用する最初の研究である。
  論文  参考訳（メタデータ） (2023-06-24T22:57:40Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)
• Target Propagation via Regularized Inversion [4.289574109162585]
  本稿では,ネットワークレイヤの正規化インバージョンに基づくターゲット伝搬の簡易バージョンを提案する。 我々のTPは、様々なシーケンスモデリング問題において、長いシーケンスでリカレントニューラルネットワークのトレーニングにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:49:25Z)
• Neural Temporal Point Processes: A Review [25.969319777457606]
  時間点過程 (TPP) は連続時間事象列の確率的生成モデルである。 ニューラルTPPは、ポイントプロセスの文献とディープラーニングのアプローチの基本的な考え方を組み合わせる。
  論文  参考訳（メタデータ） (2021-04-08T06:10:50Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。