論文の概要: Considerations about temporal rescaling, discretization, and linearization of RNNs

• arxiv url: http://arxiv.org/abs/2312.15974v1
• Date: Tue, 26 Dec 2023 10:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-27 15:19:13.451951
• Title: Considerations about temporal rescaling, discretization, and linearization of RNNs
• Title（参考訳）: RNNの時間的再スケーリング、離散化、線形化に関する考察
• Authors: Mariano Caruso and Cecilia Jarne
• Abstract要約: 本稿では、リカレントニューラルネットワーク(RNN)の数学的基礎と、時間的再スケーリング、離散化、線形化の3つの基本的な手順について考察する。 これらの技術は、RNNの振る舞いを特徴づける重要なツールを提供し、時間的ダイナミクス、実用的な計算実装、解析のための線形近似の洞察を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the mathematical foundations of Recurrent Neural Networks (RNNs) and three fundamental procedures: temporal rescaling, discretization, and linearization. These techniques provide essential tools for characterizing RNN behaviour, enabling insights into temporal dynamics, practical computational implementation, and linear approximations for analysis. We discuss the flexible order of application of these procedures, emphasizing their significance in modelling and analyzing RNNs for computational neuroscience and machine learning applications. We explicitly describe here under what conditions these procedures can be interchangeable.
• Abstract（参考訳）: 本稿では,リカレントニューラルネットワーク(rnn)の数学的基礎と,時間的再スケーリング,離散化,線形化という3つの基本的な手順について検討する。 これらの技術は、RNNの振る舞いを特徴づける重要なツールを提供し、時間的ダイナミクス、実用的な計算実装、解析のための線形近似の洞察を可能にする。 本稿では,これらの手法の適用の柔軟な順序について論じ,計算神経科学および機械学習応用におけるRNNのモデル化と解析の意義を強調した。 これらの手順がどのような条件で交換可能かを、ここで明確に記述する。

関連論文リスト

• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Hybrid Time-Domain Behavior Model Based on Neural Differential Equations and RNNs [3.416692407056595]
  本稿では,新しい連続時間ドメインハイブリッドモデリングパラダイムを提案する。 ニューラルネットワーク差分モデルとリカレントニューラルネットワーク(RNN)を統合し、NODE-RNNとNCDE-RNNモデルを作成する。 理論的解析により、このハイブリッドモデルは事象駆動型動的突然変異応答と伝播安定性において数学的に有利であることが示された。
  論文  参考訳（メタデータ） (2025-03-28T10:42:52Z)
• Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
  任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。 ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
  論文  参考訳（メタデータ） (2024-09-27T17:46:05Z)
• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks [3.683202928838613]
  本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。 本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。 実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T20:52:37Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Recurrent Neural Networks for Dynamical Systems: Applications to Ordinary Differential Equations, Collective Motion, and Hydrological Modeling [0.20999222360659606]
  各タスクでRNNを個別に訓練・テストし、動的システムの力学を再現・予測するためのRNNの広範な適用性を実証する。 誤差定式化によるシステムに対する正しいロレンツ解の再構成、破損した集合運動の再構築、軌道、スパイクを有するストリームフロー時系列の予測という3つのタスクに適用されたRNNの性能を分析した。
  論文  参考訳（メタデータ） (2022-02-14T20:34:49Z)
• Learning Deep Morphological Networks with Neural Architecture Search [19.731352645511052]
  メタラーニングに基づく形態論的演算子をディープニューラルネットワークに組み込む手法を提案する。 学習したアーキテクチャは、我々の新しい形態的操作が、様々なタスクにおけるDNNのパフォーマンスを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-14T19:19:48Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。