論文の概要: Generative Modeling for Cascading Extremes via Autoregressive Transformers

• arxiv url: http://arxiv.org/abs/2611.05728v1
• Date: Tue, 03 Nov 2026 22:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.897796
• Title: Generative Modeling for Cascading Extremes via Autoregressive Transformers
• Title（参考訳）: 自己回帰変換器を用いたカスケードエクストリームの生成モデリング
• Abstract要約: 地震津波のカスケードから金融市場における連続的な損失に至るまで、過度な出来事が連続的に起こることが多い。 本稿では,多変量観測をカテゴリー列として符号化した極端トークン表現を提案する。 デコーダのみのトランスフォーマーは、この表現に基づいて履歴依存のnext-tokenカーネルを推定する。
• 参考スコア（独自算出の注目度）: 2.449909275410288
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Extreme events often occur sequentially, from earthquake-tsunami cascades to successive extreme losses in financial markets. We introduce an extremal token representation that encodes multivariate observations as a categorical sequence. A quiet token records the absence of threshold exceedances; otherwise, the token identifies the exceeding component with the largest marginal probability-scale score. The representation is invariant to componentwise strictly increasing transformations. It preserves the identity and temporal ordering of dominant exceedances but discards their magnitudes and the identities of nondominant simultaneous exceedances. A decoder-only transformer estimates the history-dependent next-token kernel on this representation, and recursive sampling generates future token sequences from the induced joint predictive law. We amortize our generative model by pretraining across simulated process families with varying parameters and dependence persistence. Next-token predictions are evaluated against exact conditional probabilities for held-out categorical processes and particle filter references for heavy-tailed vector autoregressive processes. Applied to ten-second returns for five semiconductor stocks, the pretrained model supports zero-shot transfer, while a few epochs of adaptation improve agreement between observed and generated token frequencies and transition patterns. These results support task-specific tokenization and simulation-based pretraining for modeling which dimensions dominate multivariate extremes.
• Abstract（参考訳）: 地震津波のカスケードから金融市場における連続的な損失に至るまで、過度な出来事が連続的に起こることが多い。 本稿では,多変量観測をカテゴリー列として符号化した極端トークン表現を提案する。 静かなトークンは閾値超過がないことを記録し、そうでなければ、トークンは最大の限界確率スケールスコアを持つ超過成分を特定する。 この表現は、成分的に厳密に増加する変換に不変である。 支配的超越のアイデンティティと時間的秩序を保ちながら、その大きさと非支配的同時超越のアイデンティティを放棄する。 デコーダのみ変換器は、この表現に基づいて履歴依存の次トーケンカーネルを推定し、再帰的サンプリングにより、誘導された共同予測則から将来のトークンシーケンスを生成する。 我々は、様々なパラメータと依存性の持続性を持つ模擬プロセスファミリを事前学習することで、生成モデルを記憶する。 重み付きベクトル自己回帰過程のホールドアウトカテゴリープロセスと粒子フィルタ参照に対する厳密な条件付き確率に対して次トーケン予測を評価する。 5つの半導体ストックに対して10秒のリターンを適用すると、事前訓練されたモデルはゼロショット転送をサポートし、いくつかの適応のエポックは、観測されたトークン周波数と生成されたトークン遷移パターンの一致を改善する。 これらの結果は,タスク固有のトークン化とシミュレーションに基づく事前学習を支援する。

関連論文リスト

• Conditional Attribute Estimation with Autoregressive Sequence Models [2.956641142618867]
  Conditional Attribute Transformersは、次のトークン選択の確率と属性の値を共同で推定する新しい方法である。 提案手法は,スパース報酬タスクにおけるアートパフォーマンスの状態を達成し,属性確率をサンプリングよりも桁違いに高速に推定し,多言語タスクにおける自己回帰シーケンスモデルの復号化を導出する。
  論文  参考訳（メタデータ） (2026-05-13T18:11:16Z)
• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。