論文の概要: VITRO: Vocabulary Inversion for Time-series Representation Optimization

• arxiv url: http://arxiv.org/abs/2412.17921v1
• Date: Mon, 23 Dec 2024 19:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:29.395208
• Title: VITRO: Vocabulary Inversion for Time-series Representation Optimization
• Title（参考訳）: VITRO:時系列表現最適化のための語彙変換
• Authors: Filippos Bellos, Nam H. Nguyen, Jason J. Corso,
• Abstract要約: 本稿では,自然言語の離散的,意味的な性質と時系列データの連続的,数値的性質とのギャップを埋めるために,VITROを提案する。 学習可能な時系列固有の擬単語埋め込みは、既存の汎用言語モデル語彙よりも時系列データの表現が優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.338428379212704
• License:
• Abstract: Although LLMs have demonstrated remarkable capabilities in processing and generating textual data, their pre-trained vocabularies are ill-suited for capturing the nuanced temporal dynamics and patterns inherent in time series. The discrete, symbolic nature of natural language tokens, which these vocabularies are designed to represent, does not align well with the continuous, numerical nature of time series data. To address this fundamental limitation, we propose VITRO. Our method adapts textual inversion optimization from the vision-language domain in order to learn a new time series per-dataset vocabulary that bridges the gap between the discrete, semantic nature of natural language and the continuous, numerical nature of time series data. We show that learnable time series-specific pseudo-word embeddings represent time series data better than existing general language model vocabularies, with VITRO-enhanced methods achieving state-of-the-art performance in long-term forecasting across most datasets.
• Abstract（参考訳）: LLMはテキストデータの処理と生成において顕著な能力を示してきたが、事前訓練された語彙は時系列に固有の微妙な時間的ダイナミクスやパターンを捉えるのに不適である。 これらの語彙が表わすように設計された自然言語トークンの離散的で象徴的な性質は、時系列データの連続的、数値的性質とうまく一致しない。 この基本的な制限に対処するため、VITROを提案する。 本手法は,自然言語の離散的,意味的な性質と時系列データの連続的,数値的性質とのギャップを埋める新しい時系列単位の語彙を学習するために,視覚言語領域からのテキストインバージョン最適化に適応する。 学習可能な時系列固有の擬単語埋め込みは、既存の汎用言語モデル語彙よりも時系列データを表現し、VITROで強化された手法により、ほとんどのデータセットの長期予測において、最先端のパフォーマンスを達成する。

関連論文リスト

• Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
  テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。 TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-13T03:43:27Z)
• LAST SToP For Modeling Asynchronous Time Series [19.401463051705377]
  Asynchronous Time Series に合わせたLarge Language Models (LLM) のための新しいプロンプト設計を提案する。 我々のアプローチはイベント記述のリッチな自然言語を効果的に活用し、LLMはさまざまなドメインやタスクをまたがる推論において、広範囲にわたる知識の恩恵を受けることができる。 さらに、モデル性能を大幅に向上させる新しいプロンプトチューニング機構であるSoft Promptingを導入し、QLoRAのような既存の微調整方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T01:42:45Z)
• Time Series Language Model for Descriptive Caption Generation [11.796431549951055]
  本稿では,時系列キャプションに特化して設計された新しい時系列言語モデルTSLMを紹介する。 TSLMはエンコーダ・デコーダモデルとして機能し、テキストプロンプトと時系列データ表現の両方を活用する。 TSLMは、複数のデータモダリティから既存の最先端アプローチよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T14:34:30Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• Time Machine GPT [15.661920010658626]
  大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。 このアプローチは言語の性質の進化と一致していない。 本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
  論文  参考訳（メタデータ） (2024-04-29T09:34:25Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。