論文の概要: Regularising NARX models with multi-task learning

• arxiv url: http://arxiv.org/abs/2501.04470v1
• Date: Wed, 08 Jan 2025 12:48:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:25.849517
• Title: Regularising NARX models with multi-task learning
• Title（参考訳）: マルチタスク学習による正規化NARXモデル
• Authors: Sarah Bee, Lawrence Bull, Nikolaos Dervilis, Keith Worden,
• Abstract要約: eXogenous inputs (NARX)モデルを持つAuto-Regressiveは、時間変化のプロセスを記述するために使用できる。 NARXモデルの1つの制限は、過度に適合する確率であり、将来の予測に対する一般化が不十分であることである。 オーバーフィッティングの問題を解決するための提案手法は、現在の時間と数回のリードタイムの両方で出力を予測するNARXモデルである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A Nonlinear Auto-Regressive with eXogenous inputs (NARX) model can be used to describe time-varying processes; where the output depends on both previous outputs and current/previous external input variables. One limitation of NARX models is their propensity to overfit and result in poor generalisation for future predictions. The proposed method to help to overcome the issue of overfitting is a NARX model which predicts outputs at both the current time and several lead times into the future. This is a form of multi-task learner (MTL); whereby the lead time outputs will regularise the current time output. This work shows that for high noise level, MTL can be used to regularise NARX with a lower Normalised Mean Square Error (NMSE) compared to the NMSE of the independent learner counterpart.
• Abstract（参考訳）: eXogenous inputs (NARX) モデルを持つ非線形自己回帰モデルは、出力が以前の出力と現在の/以前の外部入力変数の両方に依存する時間変化プロセスを記述するのに使用できる。 NARXモデルの1つの制限は、過度に適合する確率であり、将来の予測に対する一般化が不十分であることである。 オーバーフィッティングの問題を解決するための提案手法は、現在の時間と数回のリードタイムの両方で出力を予測するNARXモデルである。 これはMTL(Multi-task Learninger)の一種であり、リードタイム出力が現在のタイムアウトプットを規則化する。 この研究は、高雑音レベルにおいて、MTLは、独立学習者のNMSEよりも低い正規化平均角誤差(NMSE)でNARXを正規化することができることを示している。

関連論文リスト

• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences [7.279215553861787]
  本研究の目的は、リカレントニューラルネットワーク(RNN)の固有一般化特性、すなわち帰納バイアスを明らかにすることである。 実験の結果,Long Short-Term Memory (LSTM) とGated Recurrent Unit (GRU) は低周波パターンに対する誘導バイアスを有することがわかった。 また,LSTMとGRUの誘導バイアスは,層数や層の大きさによって異なることがわかった。
  論文  参考訳（メタデータ） (2023-05-16T05:30:13Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• MAD: Self-Supervised Masked Anomaly Detection Task for Multivariate Time Series [14.236092062538653]
  Masked Anomaly Detection (MAD) は多変量時系列異常検出のための汎用的な自己教師型学習タスクである。 入力の一部をランダムにマスキングしてモデルをトレーニングすることで、MADは従来の左から右への次のステップ予測(NSP)タスクよりも改善される。 実験の結果,MADは従来のNSP法よりも優れた異常検出率が得られることが示された。
  論文  参考訳（メタデータ） (2022-05-04T14:55:42Z)
• NARX Identification using Derivative-Based Regularized Neural Networks [0.0]
  正則化法は、過去の入力サンプルが現在のモデル出力に与える影響の指数関数的減衰を促進する。 提案手法は,シミュレーション誤差性能の点でモデルの精度を向上する。
  論文  参考訳（メタデータ） (2022-04-12T15:36:29Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Bayesian Inference in High-Dimensional Time-Serieswith the Orthogonal Stochastic Linear Mixing Model [2.7909426811685893]
  現代の時系列データセットの多くは、長期間にわたってサンプリングされた大量の出力応答変数を含んでいる。 本稿では,多種多様な大規模時系列データセット解析のための新しいマルコフ連鎖モンテカルロフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-25T01:12:54Z)
• Principal Component Density Estimation for Scenario Generation Using Normalizing Flows [62.997667081978825]
  低次元空間における正規化フローを設定する線形主成分分析(PCA)に基づく次元還元フロー層を提案する。 当社は、2013年から2015年までのドイツにおけるPVおよび風力発電のデータと負荷需要に関する主成分フロー(PCF)を訓練しています。
  論文  参考訳（メタデータ） (2021-04-21T08:42:54Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。