論文の概要: TOKON: TOKenization-Optimized Normalization for time series analysis with a large language model

• arxiv url: http://arxiv.org/abs/2502.05701v1
• Date: Sat, 08 Feb 2025 21:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:46.191563
• Title: TOKON: TOKenization-Optimized Normalization for time series analysis with a large language model
• Title（参考訳）: TOKON:TOKenization-Optimized Normalization for time series analysis with a large language model
• Authors: Janghoon Yang,
• Abstract要約: 本稿ではトークン化の本質的性質を考慮した新しい正規化手法を提案する。 提案したTokenization-d Normalization(TOKON)は,各要素を単一トークンで表現することで時系列データを単純化する。 また, 時系列予測のための新しいプロンプト, Time Series Forecasting with Care (TFSC) を導入し, 予測性能をさらに向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While large language models have rapidly evolved towards general artificial intelligence, their versatility in analyzing time series data remains limited. To address this limitation, we propose a novel normalization technique that considers the inherent nature of tokenization. The proposed Tokenization-Optimized Normalization (TOKON) simplifies time series data by representing each element with a single token, effectively reducing the number of tokens by 2 to 3 times. Additionally, we introduce a novel prompt for time series forecasting, termed Time Series Forecasting with Care (TFSC), to further enhance forecasting performance. Experimental results demonstrate that TOKON improves root mean square error (RMSE) for multi-step forecasting by approximately 7% to 18%, depending on the dataset and prompting method. Furthermore, TFSC, when used in conjunction with TOKON, shows additional improvements in forecasting accuracy for certain datasets
• Abstract（参考訳）: 大規模言語モデルは急速に汎用人工知能へと進化してきたが、時系列データ解析の汎用性は依然として限られている。 この制限に対処するため,トークン化の本質的性質を考慮した新しい正規化手法を提案する。 提案したTokenization-Optimized Normalization (TOKON)は,各要素を単一のトークンで表現することで時系列データを単純化し,トークン数を2～3倍に効果的に削減する。 さらに, 時系列予測のための新しいプロンプト, Time Series Forecasting with Care (TFSC) を導入し, 予測性能をさらに向上させる。 実験の結果,TOKONはデータセットとプロンプト法により,多段階予測の根平均二乗誤差(RMSE)を約7%から18%改善することがわかった。 さらに、TFSCはTOKONと併用することで、特定のデータセットの予測精度がさらに向上したことを示す。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Enhancing Transformer RNNs with Multiple Temporal Perspectives [18.884124657093405]
  本稿では、リカレントニューラルネットワーク(RNN)アーキテクチャに適用可能な新しいアプローチである、複数時間視点の概念を紹介する。 この方法は、以前遭遇したテキストの多様な時間的ビューを維持することを含み、コンテキストを解釈する言語モデルの能力を大幅に強化する。
  論文  参考訳（メタデータ） (2024-02-04T22:12:29Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• NP-Free: A Real-Time Normalization-free and Parameter-tuning-free Representation Approach for Open-ended Time Series [0.4588028371034407]
  実時間正規化自由かつチューニング自由な表現手法NP-Freeを提案する。 NP-Freeは、時系列の各データポイントをルート平均二乗誤差(RMSE)値に変換することで、生の時系列の表現を生成することができる。
  論文  参考訳（メタデータ） (2023-04-12T21:48:53Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Time Series Forecasting via Semi-Asymmetric Convolutional Architecture with Global Atrous Sliding Window [0.0]
  本稿では,時系列予測の問題に対処するために提案手法を提案する。 現代のモデルのほとんどは、短い範囲の情報のみに焦点を当てており、時系列予測のような問題で致命的なものである。 パフォーマンス上のアドバンテージがあることを実験的に検証した3つの主要なコントリビューションを行います。
  論文  参考訳（メタデータ） (2023-01-31T15:07:31Z)
• Time Series is a Special Sequence: Forecasting with Sample Convolution and Interaction [9.449017120452675]
  時系列データ(英: time series)とは、時系列データの一種で、時系列で記録された観測の集合である。 既存のディープラーニング技術では、時系列解析にジェネリックシーケンスモデルを使用しており、そのユニークな性質を無視している。 本稿では,新しいニューラルネットワークアーキテクチャを提案し,時系列予測問題に適用し,時間的モデリングのための複数の解像度でサンプル畳み込みと相互作用を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:15:04Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。