論文の概要: Forecasting from Clinical Textual Time Series: Adaptations of the Encoder and Decoder Language Model Families

• arxiv url: http://arxiv.org/abs/2504.10340v1
• Date: Mon, 14 Apr 2025 15:48:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:10.268362
• Title: Forecasting from Clinical Textual Time Series: Adaptations of the Encoder and Decoder Language Model Families
• Title（参考訳）: 臨床テキスト時系列からの予測:エンコーダとデコーダ言語モデルの適応
• Authors: Shahriar Noroozizadeh, Sayantan Kumar, Jeremy C. Weiss,
• Abstract要約: テキスト時系列からの予測問題として,LDMを用いたアノテーションパイプラインを用いてタイムスタンプによる臨床所見を抽出する手法を提案する。 我々は、細調整されたデコーダベースの大規模言語モデルやエンコーダベースのトランスフォーマーなど、多様なモデル群を評価する。
• 参考スコア（独自算出の注目度）: 6.882042556551609
• License:
• Abstract: Clinical case reports encode rich, temporal patient trajectories that are often underexploited by traditional machine learning methods relying on structured data. In this work, we introduce the forecasting problem from textual time series, where timestamped clinical findings--extracted via an LLM-assisted annotation pipeline--serve as the primary input for prediction. We systematically evaluate a diverse suite of models, including fine-tuned decoder-based large language models and encoder-based transformers, on tasks of event occurrence prediction, temporal ordering, and survival analysis. Our experiments reveal that encoder-based models consistently achieve higher F1 scores and superior temporal concordance for short- and long-horizon event forecasting, while fine-tuned masking approaches enhance ranking performance. In contrast, instruction-tuned decoder models demonstrate a relative advantage in survival analysis, especially in early prognosis settings. Our sensitivity analyses further demonstrate the importance of time ordering, which requires clinical time series construction, as compared to text ordering, the format of the text inputs that LLMs are classically trained on. This highlights the additional benefit that can be ascertained from time-ordered corpora, with implications for temporal tasks in the era of widespread LLM use.
• Abstract（参考訳）: 臨床症例報告では、構造化されたデータに依存する従来の機械学習手法によってしばしば過小評価される、リッチで時間的な患者の軌跡をエンコードしている。 本稿では, テキスト時系列からの予測問題について紹介し, タイムスタンプによる臨床所見の抽出をLCMを用いたアノテーションパイプラインを用いて行う。 我々は、イベント発生予測、時間順序付け、生存分析のタスクに基づいて、微調整デコーダベースの大規模言語モデルとエンコーダベースのトランスフォーマーを含む多種多様なモデル群を体系的に評価した。 実験により,エンコーダを用いたモデルでは,短時間・長期のイベント予測において,高いF1スコアと優れた時間的一致が得られる一方で,微調整マスキングによりランク付け性能が向上することが判明した。 対照的に、命令調整デコーダモデルは、特に早期予後設定において、生存分析において相対的な優位性を示す。 我々の感度分析は、LLMが古典的に訓練したテキスト入力の形式であるテキストの順序付けと比較して、臨床時系列構築を必要とする時間順序付けの重要性をさらに示している。 このことは、時間順のコーパスから確認できる追加の利点を強調し、LLMが広く使われる時代における時間的タスクに影響を及ぼす。

関連論文リスト

• TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
  TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。 実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:17:27Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
  本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。 実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
  論文  参考訳（メタデータ） (2024-08-09T05:13:03Z)
• Early Prediction of Causes (not Effects) in Healthcare by Long-Term Clinical Time Series Forecasting [11.96384267146423]
  臨床変数の時系列予測(TSF)により原因を直接予測することを提案する。 モデルトレーニングは特定のラベルに依存しないため、予測されたデータはコンセンサスベースのラベルを予測するために使用できる。
  論文  参考訳（メタデータ） (2024-08-07T14:52:06Z)
• Stock Volume Forecasting with Advanced Information by Conditional Variational Auto-Encoder [49.97673761305336]
  本研究では,短時間・長期の予測作業において,日当たりのストックボリューム時系列の予測を改善するために,条件変動(CVAE)を用いることを実証する。 CVAEは非線形時系列をサンプル外予測として生成し、精度が向上し、実際のデータとの相関関係がより緊密になる。
  論文  参考訳（メタデータ） (2024-06-19T13:13:06Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series [20.958959332978726]
  SAFは、バックキャストに基づく予測に先立って自己適応段階を統合する」 提案手法は,符号化された表現を進化する分布に効率よく適応させることにより,より優れた一般化を実現する。 時系列データが医療や金融などの非定常性で知られる領域における合成および実世界のデータセットについて、SAFの顕著なメリットを実証する。
  論文  参考訳（メタデータ） (2022-02-04T21:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。