論文の概要: Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules

• arxiv url: http://arxiv.org/abs/2206.01649v1
• Date: Fri, 3 Jun 2022 15:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 16:18:40.568195
• Title: Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
• Title（参考訳）: 連続学習規則によるニューラルネットプログラミングのためのニューラルディファレンシャル方程式
• Authors: Kazuki Irie, Francesco Faccio, J\"urgen Schmidhuber
• Abstract要約: 連続時間シーケンス処理網を構築するために,学習ルールとニューラルODEを組み合わせた新しい手法を提案する。 これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。
• 参考スコア（独自算出の注目度）: 10.924226420146626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural ordinary differential equations (ODEs) have attracted much attention as continuous-time counterparts of deep residual neural networks (NNs), and numerous extensions for recurrent NNs have been proposed. Since the 1980s, ODEs have also been used to derive theoretical results for NN learning rules, e.g., the famous connection between Oja's rule and principal component analysis. Such rules are typically expressed as additive iterative update processes which have straightforward ODE counterparts. Here we introduce a novel combination of learning rules and Neural ODEs to build continuous-time sequence processing nets that learn to manipulate short-term memory in rapidly changing synaptic connections of other nets. This yields continuous-time counterparts of Fast Weight Programmers and linear Transformers. Our novel models outperform the best existing Neural Controlled Differential Equation based models on various time series classification tasks, while also addressing their scalability limitations. Our code is public.
• Abstract（参考訳）: ニューラル常微分方程式 (ODE) は、ディープ残差ニューラルネットワーク (NN) の連続時間対応として多くの注目を集めており、再帰的 NN の拡張が多数提案されている。 1980年代以降、ODEは、例えばOjaの規則と主成分分析との有名な関連性のようなNN学習規則の理論結果の導出にも用いられてきた。 このようなルールは、通常、直接 ode に対応する付加的な反復更新プロセスとして表現される。 本稿では,学習ルールとニューラルODEを組み合わせて,他のネットのシナプス接続を急速に変化させることで,短期記憶の操作を学習する連続時間シーケンス処理ネットを構築する。 これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。 提案手法は,様々な時系列分類タスクに基づく既存のニューラル制御微分方程式モデルよりも優れており,スケーラビリティの限界にも対処している。 私たちのコードは公開されています。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Neural Piecewise-Constant Delay Differential Equations [17.55759866368141]
  本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,新しい連続深度ニューラルネットワークを紹介する。 ニューラルネットワークPCDDEは,1次元の離散遅延人口動態と実世界のデータセットにおいて,既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-04T03:44:15Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Hypersolvers: Toward Fast Continuous-Depth Models [16.43439140464003]
  オーバヘッドが低く、精度が理論的に保証されているODEを解くために設計されたニューラルネットワークであるハイパーソルバを導入する。 ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深度モデルの実用的な応用のための新しいフロンティアが解放される。
  論文  参考訳（メタデータ） (2020-07-19T06:31:31Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。