論文の概要: Revisiting the Generic Transformer: Deconstructing a Strong Baseline for Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2602.06909v1
• Date: Fri, 06 Feb 2026 18:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.511586
• Title: Revisiting the Generic Transformer: Deconstructing a Strong Baseline for Time Series Foundation Models
• Title（参考訳）: ジェネリックトランスの再検討:時系列基礎モデルのための強力なベースラインの構築
• Authors: Yunshi Wen, Wesley M. Gifford, Chandra Reddy, Lam M. Nguyen, Jayant Kalagnanam, Anak Agung Julius,
• Abstract要約: 本稿では,標準パッチ変換器の可能性について検討し,最先端のゼロショット予測性能を実現することを実証する。 我々は,モデルスケーリング,データ合成,トレーニング技術を網羅的に研究し,高パフォーマンスに必要な材料を分離する。
• 参考スコア（独自算出の注目度）: 18.841505010078112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent surge in Time Series Foundation Models has rapidly advanced the field, yet the heterogeneous training setups across studies make it difficult to attribute improvements to architectural innovations versus data engineering. In this work, we investigate the potential of a standard patch Transformer, demonstrating that this generic architecture achieves state-of-the-art zero-shot forecasting performance using a straightforward training protocol. We conduct a comprehensive ablation study that covers model scaling, data composition, and training techniques to isolate the essential ingredients for high performance. Our findings identify the key drivers of performance, while confirming that the generic architecture itself demonstrates excellent scalability. By strictly controlling these variables, we provide comprehensive empirical results on model scaling across multiple dimensions. We release our open-source model and detailed findings to establish a transparent, reproducible baseline for future research.
• Abstract（参考訳）: 最近の時系列ファウンデーションモデルの増加は、この分野を急速に進歩させてきたが、研究全体にわたる異種トレーニングのセットアップは、アーキテクチャの革新とデータエンジニアリングの改善を区別するのが困難である。 本研究では,標準パッチトランスフォーマーの可能性について検討し,この汎用アーキテクチャが,簡単なトレーニングプロトコルを用いて,最先端のゼロショット予測性能を実現することを実証する。 我々は,モデルスケーリング,データ合成,トレーニング技術を網羅的に研究し,高パフォーマンスに必要な材料を分離する。 また,汎用アーキテクチャ自体が優れたスケーラビリティを示すことを確認した。 これらの変数を厳密に制御することにより、複数の次元にわたるモデルのスケーリングに関する包括的な実験結果を提供する。 われわれのオープンソースモデルと詳細な知見を公開し、将来の研究のための透明で再現可能なベースラインを確立する。

関連論文リスト

• Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data [53.040873127309766]
  本稿では,トランスアーキテクチャ内でのトークンのアンタングル化プロセスを提案し,特徴分離を向上し,より効果的な学習を実現する。 提案手法は,データセット内およびデータセット間の評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-09-08T17:58:06Z)
• The Power of Architecture: Deep Dive into Transformer Architectures for Long-Term Time Series Forecasting [26.76928230531243]
  長期時系列予測(LTSF)においてトランスフォーマーモデルが最近主流となっている。 エンコーダのみ、エンコーダのみ、デコーダのみの設計といったアーキテクチャのバリエーションは、決定的な疑問を引き起こす。 既存のモデルは、しばしば様々な時系列固有の設計と密結合しており、アーキテクチャ自体の影響を分離することは困難である。 本稿では,これらの設計を混乱させる新しい分類法を提案し,トランスフォーマーアーキテクチャのより明確で統一的な比較を可能にする。
  論文  参考訳（メタデータ） (2025-07-17T12:16:04Z)
• Triple Attention Transformer Architecture for Time-Dependent Concrete Creep Prediction [0.0]
  本稿では, 時間依存コンクリートクリープ予測のための新しい三重注意変換器アーキテクチャを提案する。 具体的なクリープ予測を言語処理に類似した自己回帰シーケンスモデリングタスクに変換することで,我々のアーキテクチャはトランスフォーマーの自己認識機構を活用する。 このアーキテクチャは、平均絶対パーセンテージ誤差1.63%、R2値0.999を全データセットで達成する。
  論文  参考訳（メタデータ） (2025-05-28T22:30:35Z)
• Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
  本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。 UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。 固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T22:25:50Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。