論文の概要: Interpretable Spatial-Temporal Fusion Transformers: Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs

• arxiv url: http://arxiv.org/abs/2505.00473v1
• Date: Thu, 01 May 2025 11:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.290907
• Title: Interpretable Spatial-Temporal Fusion Transformers: Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs
• Title（参考訳）: 解釈可能な時空間核融合変換器:時変入力を持つパラメトリック力学系の多出力予測
• Authors: Shuwen Sun, Lihong Feng, Peter Benner,
• Abstract要約: 我々は、単一出力予測のための既存のトランスモデルをマルチ出力トランスに拡張する。 多出力変圧器は、原変圧器の解釈可能性を一般化する。 システムの非線形性やパラメータ空間の次元性に関わらず、複数の出力のシーケンスを正確に予測する。
• 参考スコア（独自算出の注目度）: 0.5735035463793009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the promising performance of a transformer model in predicting outputs of parametric dynamical systems with external time-varying input signals. The outputs of such systems vary not only with physical parameters but also with external time-varying input signals. Accurately catching the dynamics of such systems is challenging. We have adapted and extended an existing transformer model for single output prediction to a multiple-output transformer that is able to predict multiple output responses of these systems. The multiple-output transformer generalizes the interpretability of the original transformer. The generalized interpretable attention weight matrix explores not only the temporal correlations in the sequence, but also the interactions between the multiple outputs, providing explanation for the spatial correlation in the output domain. This multiple-output transformer accurately predicts the sequence of multiple outputs, regardless of the nonlinearity of the system and the dimensionality of the parameter space.
• Abstract（参考訳）: 外部時間変化入力信号を用いたパラメトリック力学系の出力予測におけるトランスフォーマーモデルの有望な性能について検討する。 このようなシステムの出力は、物理パラメータだけでなく、外部の時間変化の入力信号によっても変化する。 このようなシステムのダイナミクスを正確に把握することは難しい。 我々は、単一出力予測のための既存のトランスモデルを、これらのシステムの複数の出力応答を予測できるマルチアウトプットトランスに適応し拡張した。 多出力変圧器は、原変圧器の解釈可能性を一般化する。 一般化された解釈可能な注目重み行列は、シーケンス内の時間的相関だけでなく、複数の出力間の相互作用も探索し、出力領域における空間的相関を説明する。 この多重出力変換器は、システムの非線形性やパラメータ空間の次元性にかかわらず、複数の出力のシーケンスを正確に予測する。

関連論文リスト

• A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
  TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。 各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。 局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
  論文  参考訳（メタデータ） (2025-04-08T23:42:54Z)
• Minimal Time Series Transformer [5.791599334730908]
  Transformerは、多くの自然言語処理、コンピュータビジョン、音声分析問題に対する最先端のモデルである。 本研究は,連続値時系列データに適したトランスフォーマーアーキテクチャを実現するために,最小限の適応を導入する。
  論文  参考訳（メタデータ） (2025-03-12T19:48:37Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Can Transformers Learn Optimal Filtering for Unknown Systems? [21.214392963929978]
  過去の全ての出力予測を生成する変換器を用いた最適出力推定問題について検討する。 我々は、様々な異なるシステムを用いてトランスフォーマーを訓練し、未知のダイナミクスを持つ未知のシステムの性能を評価する。 非d.d.ノイズ、時間変化力学、未知のパラメータを持つ四元数系のような非線形力学のより複雑な設定では、トランスフォーマーも有望な結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T17:52:11Z)
• U-shaped Transformer: Retain High Frequency Context in Time Series Analysis [0.5710971447109949]
  本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。 パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。 実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
  論文  参考訳（メタデータ） (2023-07-18T07:15:26Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems [32.86421107987556]
  我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。 時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。 我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
  論文  参考訳（メタデータ） (2021-09-30T14:01:06Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。