論文の概要: Investigating the effects of the patch size in Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2611.02750v1
• Date: Mon, 02 Nov 2026 08:38:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:26:48.581308
• Title: Investigating the effects of the patch size in Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルにおけるパッチサイズの影響の検討
• Abstract要約: 我々は、同じデータ混合と最適化予算で訓練されたエンコーダのみとデコーダのみの予測モデルを比較した。 97のGIFT-Evalタスク全体では、エンコーダのみのモデルはより小さなパッチの恩恵を受ける一方、デコーダのみのパフォーマンスはU字型のトレンドに従う。 エンコーダのみのモデルでは、コンテクスト長の増大はパッチサイズ全体のパフォーマンスを改善するが、ゲインは2048年のコンテクスト長を超えて減少する。
• 参考スコア（独自算出の注目度）: 13.388920216856993
• License:
• Abstract: Patch size is a central design choice in patch-based time-series foundation models, controlling temporal resolution, sequence length, and computational cost. We study how this choice interacts with transformer architecture through a controlled comparison of encoder-only and decoder-only forecasting models trained with the same data mixture and optimization budget. Across 97 GIFT-Eval tasks, encoder-only models consistently benefit from smaller patches, whereas decoder-only performance follows a U-shaped trend, with an intermediate patch size performing best in aggregate. Dataset-level results further show that the preferred decoder patch size increases with the forecasting horizon. For encoder-only models, increasing context length improves performance across patch sizes, although the gains diminish beyond a context length of 2048. Finally, training-compute and CPU-latency Pareto analyses reveal complementary regimes: decoder-only models provide efficient low-cost alternatives, while encoder-only models attain the highest overall accuracy. These results show that the choice of patch size and architecture should be made depending on the forecasting horizon and deployment constraints.
• Abstract（参考訳）: パッチベースの時系列基盤モデルでは、時間分解能、シーケンス長、計算コストを制御し、パッチサイズが中心的な設計選択である。 この選択がトランスフォーマーアーキテクチャとどのように相互作用するかを、同じデータ混合と最適化予算で訓練されたエンコーダのみとデコーダのみの予測モデルの比較により検討する。 97のGIFT-Evalタスク全体では、エンコーダのみのモデルがより小さなパッチの恩恵を受けるのに対して、デコーダのみのパフォーマンスはU字型の傾向に従っており、中間パッチサイズはアグリゲーションで最高である。 データセットレベルの結果は、予測地平線で好ましくデコーダパッチのサイズが大きくなることを示している。 エンコーダのみのモデルでは、コンテクスト長の増大はパッチサイズ全体のパフォーマンスを改善するが、ゲインは2048年のコンテクスト長を超えている。 最後に、トレーニング計算とCPUレイテンシのPareto分析は、補完的なレシエーションを明らかにしている。デコーダのみのモデルが効率的な低コストの代替手段を提供する一方で、エンコーダのみのモデルが全体的な精度が最も高い。 これらの結果から,パッチサイズとアーキテクチャの選択は,予測の地平線やデプロイメントの制約に応じて行われることが示唆された。

関連論文リスト

• Moirai 2.0: When Less Is More for Time Series Forecasting [91.36760228926214]
  Moirai 2.0は、36Mシリーズの新しいコーパスで訓練されたデコーダのみの基礎モデルである。 これは、精度、速度、モデルサイズの間の強いトレードオフを達成しつつ、事前訓練された上位モデルの1つにランク付けします。 効率性とモデルサイズに関しては、Moirai 2.0は前バージョンであるMoirai 1.0-Largeの2倍の速度と30倍の小型である。
  論文  参考訳（メタデータ） (2025-11-12T12:15:35Z)
• Decoding Partial Differential Equations: Cross-Modal Adaptation of Decoder-only Models to PDEs [27.331524018411926]
  時間依存シミュレーションタスクに対して,エンコーダのみのモデルとデコーダのみのモデルを比較した。 デコーダのみのモデルは、既存のアプローチを修正せずに適用した場合に、エンコーダのみのモデルよりもはるかに悪いことが判明した。 自己回帰モデルにおいて、双方向性を模倣しようとする2つの新しいアプローチ、Parallel FlippingとSequence Duublingを導入する。
  論文  参考訳（メタデータ） (2025-10-06T18:46:50Z)
• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition [20.052245837954175]
  本稿では,FastConformerアーキテクチャに基づく,効率的かつ正確な音声認識モデルを提案する。 我々は,非自己回帰エンコーダが推論中に自己回帰的に動作できるようにするために,アクティベーションキャッシング機構を導入する。 CTCとRNNTデコーダを共用した共有エンコーダを用いたハイブリッドCTC/RNNTアーキテクチャにより、精度の向上と計算の保存が可能となる。
  論文  参考訳（メタデータ） (2023-12-27T21:04:26Z)
• ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal Prediction [55.30913411696375]
  本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。 エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。 降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
  論文  参考訳（メタデータ） (2023-09-01T07:55:53Z)
• MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers [78.85346970193518]
  Megabyteは、100万バイトを超えるシーケンスのエンドツーエンドで微分可能なモデリングを可能にするマルチスケールデコーダアーキテクチャである。 実験によると、Megabyteはバイトレベルのモデルで、長い文脈言語モデリングのサブワードモデルと競合することを可能にする。 その結果、トークン化のない自己回帰配列を大規模にモデル化できる可能性が確立された。
  論文  参考訳（メタデータ） (2023-05-12T00:55:41Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。