論文の概要: BSAT: B-Spline Adaptive Tokenizer for Long-Term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2601.00698v1
• Date: Fri, 02 Jan 2026 14:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.583362
• Title: BSAT: B-Spline Adaptive Tokenizer for Long-Term Time Series Forecasting
• Title（参考訳）: BSAT:長期連続予測のためのB-Spline Adaptive Tokenizer
• Authors: Maximilian Reinwardt, Michael Eichelbeck, Matthias Althoff,
• Abstract要約: 変圧器を用いた長期時系列予測は、自己注意の2次複雑さと均一パッチの剛性によって妨げられる。 そこで本研究では,B-splines に適合させて時系列を適応的に分割する新しいパラメータフリー手法である textitB-Spline Adaptive Tokenizer (BSAT) を提案する。
• 参考スコア（独自算出の注目度）: 11.851496302082722
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long-term time series forecasting using transformers is hampered by the quadratic complexity of self-attention and the rigidity of uniform patching, which may be misaligned with the data's semantic structure. In this paper, we introduce the \textit{B-Spline Adaptive Tokenizer (BSAT)}, a novel, parameter-free method that adaptively segments a time series by fitting it with B-splines. BSAT algorithmically places tokens in high-curvature regions and represents each variable-length basis function as a fixed-size token, composed of its coefficient and position. Further, we propose a hybrid positional encoding that combines a additive learnable positional encoding with Rotary Positional Embedding featuring a layer-wise learnable base: L-RoPE. This allows each layer to attend to different temporal dependencies. Our experiments on several public benchmarks show that our model is competitive with strong performance at high compression rates. This makes it particularly well-suited for use cases with strong memory constraints.
• Abstract（参考訳）: 変換器を用いた長期時系列予測は、データのセマンティック構造と一致しないような、自己注意の二次的な複雑さと均一なパッチの剛性によって妨げられる。 本稿では,B-splines に適合させて時系列を適応的に分割する新しいパラメータフリー手法である \textit{B-Spline Adaptive Tokenizer (BSAT) を紹介する。 BSATはアルゴリズムによって高曲率領域にトークンを配置し、各可変長基底関数をその係数と位置からなる固定サイズのトークンとして表現する。 さらに、付加的な学習可能な位置エンコーディングと、階層的に学習可能なベースであるL-RoPEを備えた回転位置エンコーディングを組み合わせたハイブリッド位置エンコーディングを提案する。 これにより、各レイヤは異なる時間的依存関係に参加することができる。 いくつかの公開ベンチマーク実験により,本モデルは高い圧縮速度で高い性能と競合することが示された。 これにより、特に強いメモリ制約のあるユースケースに適している。

関連論文リスト

• KnapSpec: Self-Speculative Decoding via Adaptive Layer Selection as a Knapsack Problem [12.668341559890605]
  KnapSpecは、knapsack問題としてドラフトモデル選択を再構成し、トークン毎のスループットを最大化する、トレーニング不要のフレームワークである。 本稿では,トークンの受入率の数学的代用として,隠れ状態間のコサイン類似性を証明した最初の厳密な理論的解析を行う。 Qwen3とLlama3の実験は、KnapSpecが最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-23T08:13:03Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• Kairos: Towards Adaptive and Generalizable Time Series Foundation Models [27.076542021368056]
  時系列基礎モデル (TSFM) は時系列解析の強力なパラダイムとして登場してきた。 動的パッチトークンとインスタンス適応型位置埋め込みを統合した,柔軟なTSFMフレームワークであるKairosを提案する。 Kairosは2つの共通ゼロショットベンチマークのパラメータをはるかに少なくして、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-09-30T06:02:26Z)
• Set Block Decoding is a Language Model Inference Accelerator [48.061016901663386]
  SBD(Set Block Decoding)は,NTP(Next token Prediction)とマスク付きトークン予測(MATP)を単一のアーキテクチャに統合することにより,生成を高速化する,シンプルで柔軟なパラダイムである。 SBDは、従来の加速法との大きな違いである複数の、必ずしも連続しない未来のトークンを並列にサンプリングすることを可能にする。 我々は,SBDにより,生成に必要な前方通過回数を3～5倍削減し,同等のNTPトレーニングを達成できることを実証した。
  論文  参考訳（メタデータ） (2025-09-04T13:02:39Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  本研究では,コンテキストbfTextualized equivaritextbfAnt textbfPosition textbfEncoding(textbfTAPE)を提案する。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training [51.23520027773028]
  コンテキストウィンドウサイズの拡張により、大きな言語モデルでは、より長いシーケンスを処理し、より複雑なタスクを処理できる。 我々は,RoPEをBFloat16フォーマットで使用すると,数値的な問題が発生し,目的とする相対的位置エンコーディングから逸脱してしまうことを観察した。 我々は,BFloat16による数値問題を軽減するプラグイン・アンド・プレイアテンション法であるAnchorAttentionを開発した。
  論文  参考訳（メタデータ） (2024-11-20T17:22:31Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis [72.71398034617607]
  我々は、相対的な位置埋め込み設計であるALiBiを受容場解析のレンズで識別する。 バニラ正弦波位置埋め込みを修正してbftextを作成する。これはパラメータフリーな相対的位置埋め込み設計であり、真の長さ情報はトレーニングシーケンスよりも長くなる。
  論文  参考訳（メタデータ） (2022-12-20T15:40:17Z)
• Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
  BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。 本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。 コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
  論文  参考訳（メタデータ） (2022-03-27T19:52:01Z)
• Conformer-Kernel with Query Term Independence for Document Retrieval [32.36908635150144]
  Transformer- Kernel (TK) モデルは、TREC Deep Learningベンチマークで強力な再ランク性能を示している。 我々は、クエリ項独立仮定を組み込むことで、TKアーキテクチャを完全な検索設定に拡張する。 コンフォーマーのGPUメモリ要件は入力シーケンス長と線形にスケールすることを示し、長いドキュメントのランク付けにおいてより有効な選択肢であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。