論文の概要: A Temporal Kernel Approach for Deep Learning with Continuous-time Information

• arxiv url: http://arxiv.org/abs/2103.15213v1
• Date: Sun, 28 Mar 2021 20:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 14:48:12.819331
• Title: A Temporal Kernel Approach for Deep Learning with Continuous-time Information
• Title（参考訳）: 連続時間情報を用いた深層学習のための時間カーネルアプローチ
• Authors: Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan
• Abstract要約: RNN、因果CNN、注意メカニズムなどのシーケンスディープラーニングモデルは、連続時間情報を容易に消費しません。 時間的データの離散化は、単純な連続時間プロセスにおいても不整合を引き起こす。 我々は,ディープラーニングツールを用いた連続時間システムの特徴付け手法を提案する。
• 参考スコア（独自算出の注目度）: 18.204325860752768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential deep learning models such as RNN, causal CNN and attention mechanism do not readily consume continuous-time information. Discretizing the temporal data, as we show, causes inconsistency even for simple continuous-time processes. Current approaches often handle time in a heuristic manner to be consistent with the existing deep learning architectures and implementations. In this paper, we provide a principled way to characterize continuous-time systems using deep learning tools. Notably, the proposed approach applies to all the major deep learning architectures and requires little modifications to the implementation. The critical insight is to represent the continuous-time system by composing neural networks with a temporal kernel, where we gain our intuition from the recent advancements in understanding deep learning with Gaussian process and neural tangent kernel. To represent the temporal kernel, we introduce the random feature approach and convert the kernel learning problem to spectral density estimation under reparameterization. We further prove the convergence and consistency results even when the temporal kernel is non-stationary, and the spectral density is misspecified. The simulations and real-data experiments demonstrate the empirical effectiveness of our temporal kernel approach in a broad range of settings.
• Abstract（参考訳）: rnn、causal cnn、アテンション機構などの逐次ディープラーニングモデルは、連続時間情報を容易に消費しない。 時間データの離散化は、単純な継続的プロセスにおいても矛盾を引き起こす。 現在のアプローチは、しばしば既存のディープラーニングアーキテクチャや実装と整合するように、ヒューリスティックな方法で時間を扱う。 本稿では,ディープラーニングツールを用いた連続時間システムの特徴付け手法を提案する。 特に、提案されたアプローチはすべての主要なディープラーニングアーキテクチャに適用され、実装の変更はほとんど必要ありません。 重要な洞察は、ニューラルネットワークを時間的カーネルと組み合わせることで、連続時間システムを表現することであり、そこでは、ガウス過程とニューラル・タンジェント・カーネルによるディープラーニング理解の最近の進歩から直感を得る。 時間的カーネルを表現するために、ランダムな特徴アプローチを導入し、再パラメータ化の下でカーネル学習問題をスペクトル密度推定に変換する。 さらに、時間的核が定常的でない場合でも収束と一貫性を証明し、スペクトル密度を誤特定する。 シミュレーションと実データ実験は,我々の時間的カーネルアプローチの幅広い設定における経験的有効性を示す。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Spatio-temporal point processes with deep non-stationary kernels [18.10670233156497]
  我々は、非定常時間点過程をモデル化できる新しいディープ非定常影響カーネルを開発した。 主な考え方は、影響核を新しい一般的な低ランク分解と近似することである。 また,ログバリアペナルティを導入して条件強度の非負性制約を維持するための新たなアプローチも採っている。
  論文  参考訳（メタデータ） (2022-11-21T04:49:39Z)
• Online Attentive Kernel-Based Temporal Difference Learning [13.94346725929798]
  オンライン強化学習(RL)はその高速学習能力とデータ効率の向上により注目されている。 オンラインRLは、しばしば複雑な値関数近似(VFA)と破滅的な干渉に悩まされる。 2時間スケール最適化を用いたオンラインカーネルに基づく時間差分法(OAKTD)を提案する。
  論文  参考訳（メタデータ） (2022-01-22T14:47:10Z)
• Neural Point Process for Learning Spatiotemporal Event Dynamics [21.43984242938217]
  本稿では,時間的点過程を統合するディープ・ダイナミクス・モデルを提案する。 提案手法は柔軟で効率的で,不規則にサンプリングされた事象を時間と空間で正確に予測することができる。 実世界のベンチマークでは、我々のモデルは最先端のベースラインよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2021-12-12T23:17:33Z)
• Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series [8.918419734720613]
  データから動的システムを学ぶためのシンプルで解釈可能な方法は、ベクトル場とカーネルを補間することである。 以前の成功にもかかわらず、この戦略は観測された時系列が定期的に時間内にサンプリングされないときに崩壊する。 本稿では,KFデータ適応カーネルの時間差を組み込むことで,動的システムのベクトル場を直接近似することで,この問題に対処する。
  論文  参考訳（メタデータ） (2021-11-25T11:45:40Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Deep Fourier Kernel for Self-Attentive Point Processes [16.63706478353667]
  本稿では、複雑な非線形時間依存構造を捉えるために、離散イベントデータに対する注目に基づく新しいモデルを提案する。 本稿では,ニューラルネットワークを用いてスペクトルを表現したFourierカーネル埋め込みを用いた新しいスコア関数を提案する。 我々は、我々のアプローチの理論的特性を確立し、我々のアプローチの競争性能を、合成および実データのための最先端技術と比較して実証する。
  論文  参考訳（メタデータ） (2020-02-17T22:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。