論文の概要: Probing the limit of hydrologic predictability with the Transformer
network
- arxiv url: http://arxiv.org/abs/2306.12384v1
- Date: Wed, 21 Jun 2023 17:06:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 12:40:23.604968
- Title: Probing the limit of hydrologic predictability with the Transformer
network
- Title（参考訳）: Transformer Networkによる水理予測可能性の限界の提案
- Authors: Jiangtao Liu, Yuchen Bian and Chaopeng Shen
- Abstract要約: 我々は、広くベンチマークされたCAMELSデータセット上で、バニラトランスフォーマーアーキテクチャがLSTMと競合しないことを示す。
Transformerの再現性のない変種はLSTMとの混合比較を得ることができ、同じKling-Gupta効率係数(KGE)を他の指標とともに生成する。
Transformerの結果は現在の最先端のものほど高くはないが、それでもいくつかの貴重な教訓が得られた。
- 参考スコア（独自算出の注目度）: 7.326504492614808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a number of years since its introduction to hydrology, recurrent neural
networks like long short-term memory (LSTM) have proven remarkably difficult to
surpass in terms of daily hydrograph metrics on known, comparable benchmarks.
Outside of hydrology, Transformers have now become the model of choice for
sequential prediction tasks, making it a curious architecture to investigate.
Here, we first show that a vanilla Transformer architecture is not competitive
against LSTM on the widely benchmarked CAMELS dataset, and lagged especially
for the high-flow metrics due to short-term processes. However, a
recurrence-free variant of Transformer can obtain mixed comparisons with LSTM,
producing the same Kling-Gupta efficiency coefficient (KGE), along with other
metrics. The lack of advantages for the Transformer is linked to the Markovian
nature of the hydrologic prediction problem. Similar to LSTM, the Transformer
can also merge multiple forcing dataset to improve model performance. While the
Transformer results are not higher than current state-of-the-art, we still
learned some valuable lessons: (1) the vanilla Transformer architecture is not
suitable for hydrologic modeling; (2) the proposed recurrence-free modification
can improve Transformer performance so future work can continue to test more of
such modifications; and (3) the prediction limits on the dataset should be
close to the current state-of-the-art model. As a non-recurrent model, the
Transformer may bear scale advantages for learning from bigger datasets and
storing knowledge. This work serves as a reference point for future
modifications of the model.
- Abstract（参考訳）: 水文学の導入から何年も経って、長い短期記憶(LSTM)のようなリカレントニューラルネットワークは、既知の同等のベンチマークで毎日のヒドログラフのメトリクスをはるかに上回ることが証明されている。
水文学以外では、トランスフォーマーはシーケンシャルな予測タスクの選択モデルとなり、調査する好奇心をそそるアーキテクチャとなっている。
ここでは,広範にベンチマークされたCAMELSデータセット上で,バニラトランスフォーマーアーキテクチャがLSTMと競合しないことを示す。
しかし、Transformerの再発のない変種はLSTMとの混合比較を得ることができ、同じKling-Gupta効率係数(KGE)を他の指標とともに生成する。
変圧器の利点の欠如は、水文予測問題のマルコフ的性質と関係している。
LSTMと同様に、Transformerは複数の強制データセットをマージしてモデルパフォーマンスを向上させることもできる。
1)バニラトランスフォーマーアーキテクチャは水理モデリングには適さない; (2) 提案された再発のない変更はトランスフォーマーのパフォーマンスを改善し、将来の作業でこうした修正をより多くテストできるようにし、(3) データセットの予測限界は現在の最先端モデルに近いものにすべきである。
非リカレントモデルとして、トランスフォーマーは、より大きなデータセットから学び、知識を保存するためのスケール上の利点を持つかもしれない。
この作業は、モデルの将来的な変更の参照ポイントとして機能する。
関連論文リスト
- Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - Transformers versus LSTMs for electronic trading [0.0]
本研究では,Transformerベースのモデルが金融時系列予測に適用可能か,LSTMに勝るかを検討する。
DLSTMと呼ばれるLSTMベースの新しいモデルを構築し、Transformerベースのモデルのための新しいアーキテクチャは、財務予測に適応するように設計されている。
実験結果は,Transformerベースのモデルが絶対価格列予測において限られた優位性しか持たないことを反映している。
論文 参考訳（メタデータ） (2023-09-20T15:25:43Z) - Fourier Transformer: Fast Long Range Modeling by Removing Sequence
Redundancy with FFT Operator [24.690247474891958]
フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。
本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。
CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
論文 参考訳（メタデータ） (2023-05-24T12:33:06Z) - Temporal Fusion Transformers for Streamflow Prediction: Value of
Combining Attention with Recurrence [0.0]
この研究は、繰り返しと注意を組み合わせることで、ストリームフロー予測を改善することができるという仮説をテストする。
我々はこれら2つの側面を組み合わせたTFT(Temporal Fusion Transformer)アーキテクチャを構築した。
その結果,TFT はストリームフロー予測のために LSTM と Transformer が設定した性能ベンチマークをはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2023-05-21T03:58:16Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳（メタデータ） (2021-12-16T19:56:44Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳（メタデータ） (2021-08-29T08:49:31Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。