論文の概要: Beyond Prompting: Time2Lang -- Bridging Time-Series Foundation Models and Large Language Models for Health Sensing

• arxiv url: http://arxiv.org/abs/2502.07608v2
• Date: Wed, 12 Feb 2025 02:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:59.076385
• Title: Beyond Prompting: Time2Lang -- Bridging Time-Series Foundation Models and Large Language Models for Health Sensing
• Title（参考訳）: プロンプティングを超えて - Time2Lang -- ヘルスセンシングのための時系列基礎モデルと大規模言語モデル
• Authors: Arvind Pillai, Dimitris Spathis, Subigya Nepal, Amanda C Collins, Daniel M Mackin, Michael V Heinz, Tess Z Griffin, Nicholas C Jacobson, Andrew Campbell,
• Abstract要約: 大規模言語モデル(LLM)は、行動センシングデータと組み合わせることで、健康上の応用を約束する。 従来のアプローチでは、センサデータをテキストプロンプトに変換するが、このプロセスはエラーを起こしやすく、計算コストが高く、ドメインの専門知識を必要とする。 本稿では, TFM 出力を中間テキスト変換なしで LLM 表現に直接マッピングするフレームワーク Time2Lang を提案する。
• 参考スコア（独自算出の注目度）: 3.2688127177376227
• License:
• Abstract: Large language models (LLMs) show promise for health applications when combined with behavioral sensing data. Traditional approaches convert sensor data into text prompts, but this process is prone to errors, computationally expensive, and requires domain expertise. These challenges are particularly acute when processing extended time series data. While time series foundation models (TFMs) have recently emerged as powerful tools for learning representations from temporal data, bridging TFMs and LLMs remains challenging. Here, we present Time2Lang, a framework that directly maps TFM outputs to LLM representations without intermediate text conversion. Our approach first trains on synthetic data using periodicity prediction as a pretext task, followed by evaluation on mental health classification tasks. We validate Time2Lang on two longitudinal wearable and mobile sensing datasets: daily depression prediction using step count data (17,251 days from 256 participants) and flourishing classification based on conversation duration (46 participants over 10 weeks). Time2Lang maintains near constant inference times regardless of input length, unlike traditional prompting methods. The generated embeddings preserve essential time-series characteristics such as auto-correlation. Our results demonstrate that TFMs and LLMs can be effectively integrated while minimizing information loss and enabling performance transfer across these distinct modeling paradigms. To our knowledge, we are the first to integrate a TFM and an LLM for health, thus establishing a foundation for future research combining general-purpose large models for complex healthcare tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、行動センシングデータと組み合わせることで、健康上の応用を約束する。 従来のアプローチでは、センサデータをテキストプロンプトに変換するが、このプロセスはエラーを起こしやすく、計算コストが高く、ドメインの専門知識を必要とする。 これらの課題は、拡張時系列データを処理する場合、特に深刻である。 近年,時系列基礎モデル (TFM) が時間的データから表現を学習するための強力なツールとして登場したが, TFM や LLM のブリッジはいまだに困難である。 本稿では, TFM 出力を中間テキスト変換なしで LLM 表現に直接マッピングするフレームワーク Time2Lang を提案する。 本手法は,まず,プレテキストタスクとして周期性予測を用いて合成データを訓練し,その後にメンタルヘルス分類タスクの評価を行った。 Time2Langは、ステップカウントデータ(17,251日、256人)を用いた日次抑うつ予測と、会話時間(46人、10週間以上)に基づく分類の充実という、2つの縦断的ウェアラブルおよびモバイルセンシングデータセットで検証した。 Time2Langは、従来のプロンプト法とは異なり、入力長に関わらず、ほぼ一定の推論時間を維持している。 生成された埋め込みは自己相関のような本質的な時系列特性を保っている。 情報損失を最小限に抑えつつ,これらの異なるモデリングパラダイム間の性能伝達を可能としながら,TFMとLLMを効果的に統合できることが本研究で実証された。 我々の知る限り、私たちは初めてTFMとLSMを健康のために統合し、複雑な医療タスクのための汎用的な大規模モデルを組み合わせた将来の研究の基盤を確立する。

関連論文リスト

• TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
  TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。 実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:17:27Z)
• Time Series Language Model for Descriptive Caption Generation [11.796431549951055]
  本稿では,時系列キャプションに特化して設計された新しい時系列言語モデルTSLMを紹介する。 TSLMはエンコーダ・デコーダモデルとして機能し、テキストプロンプトと時系列データ表現の両方を活用する。 TSLMは、複数のデータモダリティから既存の最先端アプローチよりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T14:34:30Z)
• Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning [1.7892194562398749]
  本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。 まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。 次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
  論文  参考訳（メタデータ） (2024-12-06T06:32:47Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
  本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。 実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
  論文  参考訳（メタデータ） (2024-08-09T05:13:03Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Extend and Explain: Interpreting Very Long Language Models [0.0]
  本稿では,予測に寄与するテキストブロックを識別するための新しいMasked Smpling procedure (MSP)を提案する。 MSPは、以前の最先端よりも1.7倍の臨床的に有益なテキストブロックを特定し、100倍の速度で走り、重要なフレーズペアを生成することができる。
  論文  参考訳（メタデータ） (2022-09-02T17:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。