論文の概要: BSAT: B-Spline Adaptive Tokenizer for Long-Term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2601.00698v1
• Date: Fri, 02 Jan 2026 14:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.583362
• Title: BSAT: B-Spline Adaptive Tokenizer for Long-Term Time Series Forecasting
• Title（参考訳）: BSAT:長期連続予測のためのB-Spline Adaptive Tokenizer
• Authors: Maximilian Reinwardt, Michael Eichelbeck, Matthias Althoff,
• Abstract要約: 変圧器を用いた長期時系列予測は、自己注意の2次複雑さと均一パッチの剛性によって妨げられる。 そこで本研究では,B-splines に適合させて時系列を適応的に分割する新しいパラメータフリー手法である textitB-Spline Adaptive Tokenizer (BSAT) を提案する。
• 参考スコア（独自算出の注目度）: 11.851496302082722
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long-term time series forecasting using transformers is hampered by the quadratic complexity of self-attention and the rigidity of uniform patching, which may be misaligned with the data's semantic structure. In this paper, we introduce the \textit{B-Spline Adaptive Tokenizer (BSAT)}, a novel, parameter-free method that adaptively segments a time series by fitting it with B-splines. BSAT algorithmically places tokens in high-curvature regions and represents each variable-length basis function as a fixed-size token, composed of its coefficient and position. Further, we propose a hybrid positional encoding that combines a additive learnable positional encoding with Rotary Positional Embedding featuring a layer-wise learnable base: L-RoPE. This allows each layer to attend to different temporal dependencies. Our experiments on several public benchmarks show that our model is competitive with strong performance at high compression rates. This makes it particularly well-suited for use cases with strong memory constraints.
• Abstract（参考訳）: 変換器を用いた長期時系列予測は、データのセマンティック構造と一致しないような、自己注意の二次的な複雑さと均一なパッチの剛性によって妨げられる。 本稿では,B-splines に適合させて時系列を適応的に分割する新しいパラメータフリー手法である \textit{B-Spline Adaptive Tokenizer (BSAT) を紹介する。 BSATはアルゴリズムによって高曲率領域にトークンを配置し、各可変長基底関数をその係数と位置からなる固定サイズのトークンとして表現する。 さらに、付加的な学習可能な位置エンコーディングと、階層的に学習可能なベースであるL-RoPEを備えた回転位置エンコーディングを組み合わせたハイブリッド位置エンコーディングを提案する。 これにより、各レイヤは異なる時間的依存関係に参加することができる。 いくつかの公開ベンチマーク実験により,本モデルは高い圧縮速度で高い性能と競合することが示された。 これにより、特に強いメモリ制約のあるユースケースに適している。

関連論文リスト

• Kairos: Towards Adaptive and Generalizable Time Series Foundation Models [27.076542021368056]
  時系列基礎モデル (TSFM) は時系列解析の強力なパラダイムとして登場してきた。 動的パッチトークンとインスタンス適応型位置埋め込みを統合した,柔軟なTSFMフレームワークであるKairosを提案する。 Kairosは2つの共通ゼロショットベンチマークのパラメータをはるかに少なくして、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-09-30T06:02:26Z)
• Set Block Decoding is a Language Model Inference Accelerator [48.061016901663386]
  SBD(Set Block Decoding)は,NTP(Next token Prediction)とマスク付きトークン予測(MATP)を単一のアーキテクチャに統合することにより,生成を高速化する,シンプルで柔軟なパラダイムである。 SBDは、従来の加速法との大きな違いである複数の、必ずしも連続しない未来のトークンを並列にサンプリングすることを可能にする。 我々は,SBDにより,生成に必要な前方通過回数を3～5倍削減し,同等のNTPトレーニングを達成できることを実証した。
  論文  参考訳（メタデータ） (2025-09-04T13:02:39Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  本研究では,コンテキストbfTextualized equivaritextbfAnt textbfPosition textbfEncoding(textbfTAPE)を提案する。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
  BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。 本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。 コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
  論文  参考訳（メタデータ） (2022-03-27T19:52:01Z)
• Conformer-Kernel with Query Term Independence for Document Retrieval [32.36908635150144]
  Transformer- Kernel (TK) モデルは、TREC Deep Learningベンチマークで強力な再ランク性能を示している。 我々は、クエリ項独立仮定を組み込むことで、TKアーキテクチャを完全な検索設定に拡張する。 コンフォーマーのGPUメモリ要件は入力シーケンス長と線形にスケールすることを示し、長いドキュメントのランク付けにおいてより有効な選択肢であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。