論文の概要: TOKON: TOKenization-Optimized Normalization for time series analysis with a large language model

• arxiv url: http://arxiv.org/abs/2502.05701v1
• Date: Sat, 08 Feb 2025 21:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:46.191563
• Title: TOKON: TOKenization-Optimized Normalization for time series analysis with a large language model
• Title（参考訳）: TOKON:TOKenization-Optimized Normalization for time series analysis with a large language model
• Authors: Janghoon Yang,
• Abstract要約: 本稿ではトークン化の本質的性質を考慮した新しい正規化手法を提案する。 提案したTokenization-d Normalization(TOKON)は,各要素を単一トークンで表現することで時系列データを単純化する。 また, 時系列予測のための新しいプロンプト, Time Series Forecasting with Care (TFSC) を導入し, 予測性能をさらに向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While large language models have rapidly evolved towards general artificial intelligence, their versatility in analyzing time series data remains limited. To address this limitation, we propose a novel normalization technique that considers the inherent nature of tokenization. The proposed Tokenization-Optimized Normalization (TOKON) simplifies time series data by representing each element with a single token, effectively reducing the number of tokens by 2 to 3 times. Additionally, we introduce a novel prompt for time series forecasting, termed Time Series Forecasting with Care (TFSC), to further enhance forecasting performance. Experimental results demonstrate that TOKON improves root mean square error (RMSE) for multi-step forecasting by approximately 7% to 18%, depending on the dataset and prompting method. Furthermore, TFSC, when used in conjunction with TOKON, shows additional improvements in forecasting accuracy for certain datasets
• Abstract（参考訳）: 大規模言語モデルは急速に汎用人工知能へと進化してきたが、時系列データ解析の汎用性は依然として限られている。 この制限に対処するため,トークン化の本質的性質を考慮した新しい正規化手法を提案する。 提案したTokenization-Optimized Normalization (TOKON)は,各要素を単一のトークンで表現することで時系列データを単純化し,トークン数を2～3倍に効果的に削減する。 さらに, 時系列予測のための新しいプロンプト, Time Series Forecasting with Care (TFSC) を導入し, 予測性能をさらに向上させる。 実験の結果,TOKONはデータセットとプロンプト法により,多段階予測の根平均二乗誤差(RMSE)を約7%から18%改善することがわかった。 さらに、TFSCはTOKONと併用することで、特定のデータセットの予測精度がさらに向上したことを示す。

関連論文リスト

• TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
  TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。 実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:17:27Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Enhancing Transformer RNNs with Multiple Temporal Perspectives [18.884124657093405]
  本稿では、リカレントニューラルネットワーク(RNN)アーキテクチャに適用可能な新しいアプローチである、複数時間視点の概念を紹介する。 この方法は、以前遭遇したテキストの多様な時間的ビューを維持することを含み、コンテキストを解釈する言語モデルの能力を大幅に強化する。
  論文  参考訳（メタデータ） (2024-02-04T22:12:29Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• NP-Free: A Real-Time Normalization-free and Parameter-tuning-free Representation Approach for Open-ended Time Series [0.4588028371034407]
  実時間正規化自由かつチューニング自由な表現手法NP-Freeを提案する。 NP-Freeは、時系列の各データポイントをルート平均二乗誤差(RMSE)値に変換することで、生の時系列の表現を生成することができる。
  論文  参考訳（メタデータ） (2023-04-12T21:48:53Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Time Series is a Special Sequence: Forecasting with Sample Convolution and Interaction [9.449017120452675]
  時系列データ(英: time series)とは、時系列データの一種で、時系列で記録された観測の集合である。 既存のディープラーニング技術では、時系列解析にジェネリックシーケンスモデルを使用しており、そのユニークな性質を無視している。 本稿では,新しいニューラルネットワークアーキテクチャを提案し,時系列予測問題に適用し,時間的モデリングのための複数の解像度でサンプル畳み込みと相互作用を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:15:04Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。