論文の概要: Exploring the Potential of Probabilistic Transformer for Time Series Modeling: A Report on the ST-PT Framework

• arxiv url: http://arxiv.org/abs/2604.26762v1
• Date: Wed, 29 Apr 2026 14:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.447732
• Title: Exploring the Potential of Probabilistic Transformer for Time Series Modeling: A Report on the ST-PT Framework
• Title（参考訳）: 時系列モデリングのための確率変換器の可能性を探る:ST-PTフレームワークの報告
• Authors: Zhangzhi Xiong, Haoyi Wu, You Wu, Shuqi Gu, Kan Ren, Kewei Tu,
• Abstract要約: Probabilistic Transformer (PT) は、トランスフォーマーの自己注意とフィードフォワードブロックが、条件付きランダムフィールド(CRF)上の平均場変分推論(MFVI)と数学的に等価であることを示す。 この等価性の下で、Transformerはブラックボックスニューラルネットワークをやめ、プログラム可能な因子グラフとなる。グラフトポロジ、因子ポテンシャル、メッセージパススケジュールはすべて明示的で検査可能なプリミティブで、設計することができる。
• 参考スコア（独自算出の注目度）: 45.082922583467116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Probabilistic Transformer (PT) establishes that the Transformer's self-attention plus its feed-forward block is mathematically equivalent to Mean-Field Variational Inference (MFVI) on a Conditional Random Field (CRF). Under this equivalence the Transformer ceases to be a black-box neural network and becomes a programmable factor graph: graph topology, factor potentials, and the message-passing schedule are all explicit and inspectable primitives that can be engineered. PT was originally developed for natural language and in this report we investigate its potential for time series. We first lift PT into the Spatial-Temporal Probabilistic Transformer (ST-PT) to repair PT's missing channel axis and weak per-step semantics, and adopt ST-PT as a shared cornerstone backbone. We then identify three distinct properties that PT/ST-PT offers as a factor-graph model and derive three Research Questions, one per property, that probe how each property can be exploited in time series: RQ1. The graph topology and potentials are direct programmable primitives. Can this be used to inject symbolic time-series priors into ST-PT through structural graph modifications, especially under data scarcity and noise? RQ2. The CRF's factor matrices are the operator's potentials. Can an external condition program these factor matrices on a per-sample basis, so that conditional generation becomes structural rather than feature-level modulation of a fixed one? RQ3. Each MFVI iteration is a Bayesian posterior update on the factor graph. Can this turn the latent transition of latent-space AutoRegressive (AR) forecasting from an opaque MLP into a principled posterior update, and can a CRF teacher distill its latents into the AR student to counter cumulative error? We give one empirical study per question. Together, these three studies position ST-PT as a programmable framework for time-series modeling.
• Abstract（参考訳）: Probabilistic Transformer (PT) は、トランスフォーマーの自己注意とフィードフォワードブロックが、条件付きランダムフィールド(CRF)上の平均場変分推論(MFVI)と数学的に等価であることを示す。 この等価性の下で、Transformerはブラックボックスニューラルネットワークをやめ、プログラム可能な因子グラフとなる。グラフトポロジ、因子ポテンシャル、メッセージパススケジュールはすべて明示的で検査可能なプリミティブで、設計することができる。 PTはもともと自然言語用に開発されたもので,本報告では時系列化の可能性について検討する。 まず,PTを時空間確率変換器(ST-PT)に持ち込み,PTのチャネル軸の欠如とステップごとのセマンティクスの弱さを修復し,ST-PTを共通グランドストーンバックボーンとして採用する。 次に、PT/ST-PTが因子グラフモデルとして提供する3つの異なる特性を特定し、各特性をどのように時系列で活用できるかを調査する3つの調査質問を導出する: RQ1。 グラフトポロジーとポテンシャルは直接プログラム可能なプリミティブである。 これは、特にデータ不足とノイズの下で、構造グラフの修正によって、ST-PTに象徴的な時系列を注入することができるか? RQ2。 CRFの因子行列は作用素のポテンシャルである。 外部条件は、これらの因子行列をサンプル単位でプログラムできるので、固定された要素の特徴レベル変調よりも条件生成が構造的になるか? RQ3。 各MFVIイテレーションは、因子グラフ上のベイズ的後続更新である。 これは、潜伏空間の自己回帰(AR)予測の潜伏遷移を、不透明なMLPから原則的な後続更新に変え、CRF教師が潜伏者をAR学生に蒸留して累積誤差に対処できるか? 私たちは1問に1つの実証的研究をする。 これら3つの研究は、ST-PTを時系列モデリングのプログラム可能なフレームワークとして位置づけている。

関連論文リスト

• Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond [17.002793355495136]
  TSFタスクにおける変圧器の非効率性に関する最初の理論的説明を提案する。 トレーニングアテンションネットワークにおけるbf非対称学習のメカニズムを考察する。
  論文  参考訳（メタデータ） (2024-12-08T20:29:06Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• GBT: Two-stage transformer framework for non-stationary time series forecasting [3.830797055092574]
  GBTは、Good Startを備えた新しい2段階トランスフォーマーフレームワークである。 TSFTの予測プロセスを、Auto-RegressionステージとSelf-Regressionステージという2つのステージに分割する。 7つのベンチマークデータセットの実験では、GBTは標準的注意と畳み込みのみでSOTA TSFTよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-17T07:55:21Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• One Fits All:Power General Time Series Analysis by Pretrained LM [23.292260325891032]
  自然言語や画像の事前学習モデルでは,すべてのメイン時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることを示す。 この結果から,自然言語や画像を用いた事前学習モデルでは,すべての時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2023-02-23T11:37:39Z)
• Probabilistic Decomposition Transformer for Time Series Forecasting [13.472690692157164]
  本稿では,トランスフォーマと条件付き生成モデルを組み合わせた確率分解変換器モデルを提案する。 Transformerは、時間パターンを学習し、主要な確率予測を実装するために使用される。 条件生成モデルは、非自己回帰的階層的確率予測を達成するために使用される。
  論文  参考訳（メタデータ） (2022-10-31T15:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。