論文の概要: D-TAIA: Domain-Aware LLM Adaptation for Multi-Task Predictive Process Monitoring
- arxiv url: http://arxiv.org/abs/2608.28236v1
- Date: Fri, 28 Aug 2026 11:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.306982
- Title: D-TAIA: Domain-Aware LLM Adaptation for Multi-Task Predictive Process Monitoring
- Title（参考訳）: D-TAIA:マルチタスク予測プロセス監視のためのドメイン対応LLM適応
- Abstract要約: 3つの条件は既存の手法、すなわちデータ不足、高プロセスエントロピー、分散シフトを劣化させる。
本稿では,FMバックボーンをパラメータ効率で微調整することで,次の活動と継続時間の予測を行うためのフレームワークであるD-TAIAを紹介する。
- 参考スコア（独自算出の注目度）: 0.30586855806896046
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Predictive Process Monitoring (PPM) enables organizations to forecast future process behavior, such as the next activity and remaining time of ongoing cases. In practice, three conditions cause existing methods to degrade, namely data scarcity, high process entropy and distributional shift. While Foundation Models (FMs), especially Large Language Models (LLMs), offer a new paradigm through broad sequential reasoning, adapting them to multi-task PPM under these conditions remains an open challenge. Existing FM-based approaches either lack mechanisms for handling distributional shift or rely on direct regression heads that can be structurally misaligned with continuous time prediction tasks. This paper introduces D-TAIA (Domain-aware Training and Attention-based Inference Architecture), a framework for a joint next activity and remaining time prediction task via parameter-efficient fine-tuning of an FM backbone. Our approach combines domain-aware triplet loss (DATL) pre-training with FAISS-based nearest neighbor retrieval for remaining time prediction, and adopts the TAIA inference strategy to preserve pre-trained sequential reasoning during fine-tuning. Evaluated across four real-world event logs, D-TAIA consistently shows SOTA or competitive performance compared to a fine-tuned LLM and a recurrent neural network baseline. Ablation studies confirm that techniques from NLP and computer vision can be transferred effectively to PPM with only a 10M-parameter backbone, though component contributions vary by dataset entropy.
- Abstract（参考訳）: 予測プロセスモニタリング(PPM)により、組織は次のアクティビティや継続するケースの残り時間など、将来のプロセスの挙動を予測できる。
実際には、3つの条件が既存の方法、すなわちデータ不足、高プロセスエントロピー、分散シフトを劣化させる。
ファンデーションモデル(FM)、特にLarge Language Models(LLM)は、幅広いシーケンシャルな推論を通じて新しいパラダイムを提供し、これらの条件下ではマルチタスクPPMに適応する。
既存のFMベースのアプローチでは、分散シフトを扱うメカニズムが欠如しているか、あるいは連続時間予測タスクと構造的に一致しない直接回帰ヘッドに依存している。
本稿では,FMバックボーンをパラメータ効率で微調整することで,次の活動と継続時間の予測を行うためのフレームワークであるD-TAIA(Domain-Aware Training and Attention-based Inference Architecture)を紹介する。
提案手法は,ドメイン認識型トリプルト損失(DATL)とFAISSをベースとした近接検索を併用して時間予測を行い,TAIA推論手法を用いて,微調整中の逐次推論の保存を行う。
4つの実世界のイベントログで評価されたD-TAIAは、微調整されたLLMとリカレントニューラルネットワークベースラインと比較して、SOTAまたは競争性能を一貫して示す。
アブレーション研究により、NLPとコンピュータビジョンの技法は10Mパラメータのバックボーンしか持たないPPMに効果的に移行できるが、成分の寄与はデータセットのエントロピーによって異なることが確認された。
関連論文リスト
- Efficient Online Continual Foundation Model Fine-Tuning for Predictive Process Monitoring [0.34376560669160394]
予測プロセスモニタリングのためのFMの連続的な微調整のための最初のフレームワークを提案する。
損失プレートドリフト検出を適用して、イベントストリーム内のタスク境界を自律的に識別する。
我々は,合成および実世界のコンセプトドリフトシナリオをカバーする9つのイベントストリームに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-08-28T11:53:26Z) - LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。
LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
論文 参考訳（メタデータ） (2026-05-11T09:54:02Z) - MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。
MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。
このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
論文 参考訳（メタデータ） (2026-02-14T14:00:06Z) - Time Series Foundation Models for Process Model Forecasting [8.339024524110828]
プロセスモデル予測は、プロセスの制御フロー構造が時間とともにどのように進化するかを予測することを目的としています。
機械学習とディープラーニングモデルは、統計的ベースラインよりも控えめな利得しか提供しない。
PMF の代替として Time Series Foundation Models (TSFMs) について検討する。
論文 参考訳（メタデータ） (2025-12-08T15:08:50Z) - In-Context Learning of Temporal Point Processes with Foundation Inference Models [12.037629169675938]
MTPP推論への現在のアプローチは、ターゲットシステムごとに個別に訓練された特殊なモデルに依存している。
我々は、イベントシーケンスの集合によって定義されたコンテキストから、イベント履歴の条件付き強度関数を推論するために、ディープニューラルネットワークを事前訓練する。
我々のアモータライズされたアプローチは、一般的なベンチマークデータセットをまたいだ次世代の予測において、特別なモデルのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2025-09-29T13:28:06Z) - On the Simplification of Neural Network Architectures for Predictive Process Monitoring [0.5735035463793009]
パラメータ数とアーキテクチャの深さの両面からモデル複雑性の低減が予測性能に与える影響を分析する。
その結果,Transformerモデルが85%縮小すると性能が2～3%低下することがわかった。
以上の結果から,モデル簡易化が予測精度を維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2025-09-21T16:21:45Z) - Domain Adaptation of LLMs for Process Data [7.611051482274626]
大規模言語モデル(LLM)は,プロセスマイニング(PM)など,さまざまな研究領域において注目の的となっている。
本研究では,事前学習したLLMの自然言語再構成なしでの処理データへの直接適応について検討した。
より具体的には、パラメータ効率のよい微調整技術に注目し、そのようなモデルに典型的に関連する計算オーバーヘッドを軽減する。
論文 参考訳（メタデータ） (2025-09-03T09:21:35Z) - WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。
WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。
私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-07-23T16:02:06Z) - DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。
学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。
同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
論文 参考訳（メタデータ） (2025-04-17T13:09:38Z) - Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す
提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。
コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
論文 参考訳（メタデータ） (2024-02-01T07:21:30Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。