論文の概要: The Disappearance of Timestep Embedding in Modern Time-Dependent Neural Networks

• arxiv url: http://arxiv.org/abs/2405.14126v1
• Date: Thu, 23 May 2024 02:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:15:00.613593
• Title: The Disappearance of Timestep Embedding in Modern Time-Dependent Neural Networks
• Title（参考訳）: 現代の時間依存ニューラルネットにおけるタイムステップ埋め込みの消失
• Authors: Bum Jun Kim, Yoshinobu Kawahara, Sang Woo Kim,
• Abstract要約: 本稿では、時間依存ニューラルネットワークの時間認識を無効にする時間ステップ埋め込みの脆弱性を報告する。 我々の分析は、この現象の詳細な説明と、根本原因に対処するいくつかの解決策を提供する。
• 参考スコア（独自算出の注目度）: 11.507779310946853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamical systems are often time-varying, whose modeling requires a function that evolves with respect to time. Recent studies such as the neural ordinary differential equation proposed a time-dependent neural network, which provides a neural network varying with respect to time. However, we claim that the architectural choice to build a time-dependent neural network significantly affects its time-awareness but still lacks sufficient validation in its current states. In this study, we conduct an in-depth analysis of the architecture of modern time-dependent neural networks. Here, we report a vulnerability of vanishing timestep embedding, which disables the time-awareness of a time-dependent neural network. Furthermore, we find that this vulnerability can also be observed in diffusion models because they employ a similar architecture that incorporates timestep embedding to discriminate between different timesteps during a diffusion process. Our analysis provides a detailed description of this phenomenon as well as several solutions to address the root cause. Through experiments on neural ordinary differential equations and diffusion models, we observed that ensuring alive time-awareness via proposed solutions boosted their performance, which implies that their current implementations lack sufficient time-dependency.
• Abstract（参考訳）: 力学系はしばしば時間変化があり、そのモデリングには時間に関して進化する関数が必要である。 ニューラル常微分方程式のような最近の研究では、時間に応じて異なるニューラルネットワークを提供する時間依存ニューラルネットワークが提案されている。 しかし、時間依存ニューラルネットワークを構築するというアーキテクチャ上の選択は、その時間認識に大きく影響するが、現在の状態では十分な検証が不十分である、と我々は主張する。 本研究では,現代の時間依存ニューラルネットワークのアーキテクチャを詳細に分析する。 本稿では、時間依存ニューラルネットワークの時間認識を無効にする時間ステップ埋め込みの脆弱性を報告する。 さらに, この脆弱性は拡散過程中に異なる時間ステップを識別するために, タイムステップ埋め込みを組み込んだ類似のアーキテクチャを用いているため, 拡散モデルでも観察できることがわかった。 我々の分析は、この現象の詳細な説明と、根本原因に対処するいくつかの解決策を提供する。 ニューラル常微分方程式と拡散モデルの実験により,提案手法による生存時間認識の確保が性能を向上し,現在の実装に十分な時間依存性が欠如していることが観察された。

関連論文リスト

• Gradient-free training of recurrent neural networks [3.272216546040443]
  本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。 このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。 時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
  論文  参考訳（メタデータ） (2024-10-30T21:24:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。