論文の概要: Taylorformer: Probabilistic Modelling for Random Processes including Time Series

• arxiv url: http://arxiv.org/abs/2305.19141v2
• Date: Mon, 23 Sep 2024 15:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:02:22.920525
• Title: Taylorformer: Probabilistic Modelling for Random Processes including Time Series
• Title（参考訳）: Taylorformer: 時系列を含むランダムプロセスの確率論的モデリング
• Authors: Omer Nivron, Raghul Parthipan, Damon J. Wischik,
• Abstract要約: 時系列などのランダムなプロセスに対してTaylorformerを提案する。 1) ニューラルネットワークベースの確率モデルで使用するためにTaylor近似を適用するLocalTaylorラッパー,2) ガウス過程の平均予測がコンテキストデータの線形滑らか化にどのように影響するかに触発された方法で予測を行うMHA-Xアテンションブロックである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose the Taylorformer for random processes such as time series. Its two key components are: 1) the LocalTaylor wrapper which adapts Taylor approximations (used in dynamical systems) for use in neural network-based probabilistic models, and 2) the MHA-X attention block which makes predictions in a way inspired by how Gaussian Processes' mean predictions are linear smoothings of contextual data. Taylorformer outperforms the state-of-the-art in terms of log-likelihood on 5/6 classic Neural Process tasks such as meta-learning 1D functions, and has at least a 14\% MSE improvement on forecasting tasks, including electricity, oil temperatures and exchange rates. Taylorformer approximates a consistent stochastic process and provides uncertainty-aware predictions. Our code is provided in the supplementary material.
• Abstract（参考訳）: 時系列などのランダムなプロセスに対してTaylorformerを提案する。 その2つの重要な構成要素は以下のとおりである。 1) ニューラルネットワークに基づく確率モデルにおけるTaylor近似(力学系で使用される)を適応するLocalTaylorラッパー 2) ガウス過程の平均予測が文脈データの線形滑らか化にどのように影響するかに着想を得たMHA-Xアテンションブロック。 Taylorformerは、メタラーニング1D機能のような5/6の古典的なニューラル・プロセスのタスクで、ログライクな点では最先端のタスクを上回り、電気、油温、為替レートなどの予測タスクでは、少なくとも14倍のMSEを改善している。 Taylorformerは、一貫した確率過程を近似し、不確実性を考慮した予測を提供する。 私たちのコードは補足材料で提供されます。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
  本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。 空間や時間などの離散領域と連続領域の両方への依存をモデル化でき、相関カーネルを通じて柔軟な依存構造を持つ。 本研究は,非パラメトリック二分回帰と条件密度推定の例による効果をシミュレーション研究と妊娠結果応用の両方で説明する。
  論文  参考訳（メタデータ） (2024-02-10T21:41:32Z)
• Likelihood-based inference and forecasting for trawl processes: a stochastic optimization approach [0.0]
  実数値トロール過程を推定するための第1の可能性に基づく手法を開発した。 本稿では,新しい決定的および確率的予測手法を提案する。 トロールプロセスの大規模なクラスに適合するために使用可能なPythonライブラリをリリースしています。
  論文  参考訳（メタデータ） (2023-08-30T15:37:48Z)
• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• B\'ezier Curve Gaussian Processes [8.11969931278838]
  本稿では,確率的B'ezier曲線上に構築された新しい確率的シーケンスモデルを提案する。 混合密度ネットワークと組み合わせることで、平均場変動近似を必要とせずにベイズ条件推論を行うことができる。 このモデルは歩行者の軌跡予測に使われ、生成した予測はGP前でも機能する。
  論文  参考訳（メタデータ） (2022-05-03T19:49:57Z)
• On the Dynamics of Inference and Learning [0.0]
  本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:04:36Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Deep Distributional Time Series Models and the Probabilistic Forecasting of Intraday Electricity Prices [0.0]
  本稿では,深部時系列確率モデルを構築するための2つのアプローチを提案する。 1つ目は、ESNの出力層が、追加の正規化の前に乱れと縮小がある点である。 第二のアプローチは、特徴空間上の深いコプラ過程であるガウス乱れを伴うESNの暗黙のコプラを用いる。
  論文  参考訳（メタデータ） (2020-10-05T08:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。