論文の概要: Volume-Preserving Transformers for Learning Time Series Data with Structure

• arxiv url: http://arxiv.org/abs/2312.11166v3
• Date: Sun, 27 Oct 2024 16:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 16:00:34.176095
• Title: Volume-Preserving Transformers for Learning Time Series Data with Structure
• Title（参考訳）: 構造付き時系列データ学習のための体積保存変換器
• Authors: Benedikt Brantner, Guillaume de Romemont, Michael Kraus, Zeyuan Li,
• Abstract要約: 我々はトランスフォーマーにインスパイアされたニューラルネットワークを開発し、それを使って力学系を学習する。 我々は,アテンション層の活性化関数を構造保存特性を持つ変圧器に置き換える。 これは、ニューラルネットワークを剛体軌道の学習に応用する際の大きな利点である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Two of the many trends in neural network research of the past few years have been (i) the learning of dynamical systems, especially with recurrent neural networks such as long short-term memory networks (LSTMs) and (ii) the introduction of transformer neural networks for natural language processing (NLP) tasks. While some work has been performed on the intersection of these two trends, those efforts were largely limited to using the vanilla transformer directly without adjusting its architecture for the setting of a physical system. In this work we develop a transformer-inspired neural network and use it to learn a dynamical system. We (for the first time) change the activation function of the attention layer to imbue the transformer with structure-preserving properties to improve long-term stability. This is shown to be of great advantage when applying the neural network to learning the trajectory of a rigid body.
• Abstract（参考訳）: 過去数年間のニューラルネットワーク研究における多くのトレンドの2つが、ある。 一 力学系の学習、特に長寿命記憶ネットワーク(LSTM)のようなリカレントニューラルネットワークの学習 (II)自然言語処理(NLP)タスクのためのトランスフォーマーニューラルネットワークの導入。 これら2つの傾向の交わりについていくつかの研究が行われてきたが、これらの取り組みは物理的システムの設定のためにアーキテクチャを調整せずに直接バニラ変圧器を使用することに限られていた。 この研究では、トランスフォーマーにインスパイアされたニューラルネットワークを開発し、それを使って力学系を学習する。 我々は(初めて)注意層の活性化関数を構造保存特性を持つ変圧器に置き換え、長期安定性を向上した。 これは、ニューラルネットワークを剛体軌道の学習に応用する際の大きな利点である。

関連論文リスト

• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Efficient Sparsely Activated Transformers [0.34410212782758054]
  トランスフォーマーベースのニューラルネットワークは、多くの機械学習ドメインで最先端のタスクパフォーマンスを実現している。 最近の研究は、これらのネットワークへの動的挙動の混合層(mixed-of-expert layer)の形での統合について検討している。 我々は,既存のTransformerベースのネットワークとユーザ定義のレイテンシターゲットを取り入れたPLANERという新しいシステムを導入する。
  論文  参考訳（メタデータ） (2022-08-31T00:44:27Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• A Survey on Dynamic Neural Networks for Natural Language Processing [13.949219077548687]
  動的ニューラルネットワークは、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。 本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。
  論文  参考訳（メタデータ） (2022-02-15T00:13:05Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training [2.1202971527014287]
  本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。 実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
  論文  参考訳（メタデータ） (2021-11-21T21:14:48Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。