論文の概要: On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2306.07125v1
• Date: Mon, 12 Jun 2023 14:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:20:26.829267
• Title: On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークを用いた学習時間認識行動のダイナミクスについて
• Authors: Peter DelMastro, Rushiv Arora, Edward Rietman, Hava T. Siegelmann
• Abstract要約: 隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。 我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。 これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
• 参考スコア（独自算出の注目度）: 2.294014185517203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) have shown great success in modeling time-dependent patterns, but there is limited research on their learned representations of latent temporal features and the emergence of these representations during training. To address this gap, we use timed automata (TA) to introduce a family of supervised learning tasks modeling behavior dependent on hidden temporal variables whose complexity is directly controllable. Building upon past studies from the perspective of dynamical systems, we train RNNs to emulate temporal flipflops, a new collection of TA that emphasizes the need for time-awareness over long-term memory. We find that these RNNs learn in phases: they quickly perfect any time-independent behavior, but they initially struggle to discover the hidden time-dependent features. In the case of periodic "time-of-day" aware automata, we show that the RNNs learn to switch between periodic orbits that encode time modulo the period of the transition rules. We subsequently apply fixed point stability analysis to monitor changes in the RNN dynamics during training, and we observe that the learning phases are separated by a bifurcation from which the periodic behavior emerges. In this way, we demonstrate how dynamical systems theory can provide insights into not only the learned representations of these models, but also the dynamics of the learning process itself. We argue that this style of analysis may provide insights into the training pathologies of recurrent architectures in contexts outside of time-awareness.
• Abstract（参考訳）: リカレントニューラルネットワーク(recurrent neural network, rnns)は、時間依存パターンのモデリングにおいて大きな成功を収めているが、潜在時間的特徴の学習表現とトレーニング中のこれらの表現の出現に関する研究は限られている。 このギャップに対処するために、時間自動制御(TA)を用いて、複雑性を直接制御可能な隠れ時間変数に依存する教師付き学習タスクのモデリングを行う。 動的システムの観点からの過去の研究に基づいて、長期記憶に対する時間認識の必要性を強調するTAの新しいコレクションである時間的フリップフロップをエミュレートするためにRNNを訓練する。 それらはすぐに時間に依存しない振る舞いを完了しますが、最初は隠れた時間に依存した特徴を見つけるのに苦労しています。 周期的"時間"認識オートマトンの場合、rnnは遷移規則の周期を修飾する時間をエンコードする周期軌道間を切り替えることを学ぶ。 次に, 学習中のrnnダイナミクスの変化を監視するために不動点安定解析を適用し, 学習相が周期的挙動が出現する分岐によって分離されるのを観察した。 このようにして、動的システム理論は、これらのモデルの学習された表現だけでなく、学習プロセス自体のダイナミクスにも洞察を与えることができることを示す。 我々は、この分析スタイルが、時間認識以外の文脈における繰り返しアーキテクチャのトレーニングパスに関する洞察を与えるかもしれないと論じる。

関連論文リスト

• LINOCS: Lookahead Inference of Networked Operators for Continuous Stability [4.508868068781057]
  連続安定のためのネットワーク演算子のルックアヘッド駆動推論(LINOCS)を導入する。 LINOCSはノイズの多い時系列データに隠れた動的相互作用を識別するための頑健な学習手法である。 我々は、LINOCSの合成時系列データに基づく基底真理力学演算子を復元する能力を実証する。
  論文  参考訳（メタデータ） (2024-04-28T18:16:58Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
  本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。 VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-10-21T16:12:59Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)
• Time-Reversal Symmetric ODE Network [138.02741983098454]
  時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。 本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。 時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-22T12:19:40Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。