論文の概要: David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

• arxiv url: http://arxiv.org/abs/2606.15868v1
• Date: Sun, 14 Jun 2026 15:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.90098
• Title: David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM
• Title（参考訳）: David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, LLM
• Abstract要約: 次の活動予測(NAP)は、予測プロセス監視(PPM)の基礎である LLM、トランスフォーマー、LSTM、およびNAPの直接シーケンスモデリング設定における単純なベースラインを共同で比較するベンチマークはない。 事前トレーニングは、スクラッチからのトレーニングよりも一貫した改善ではなく、モデルのサイズはパフォーマンスにはほとんど影響しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Next activity prediction (NAP) is a cornerstone of predictive process monitoring (PPM), enabling organizations to move from retrospective analysis to proactive process steering. The PPM field has progressed from classical machine learning through deep learning architectures such as LSTMs and Transformers to large language models (LLMs). Despite growing model complexity, no benchmark jointly compares LLMs, Transformers, LSTMs, and simple baselines in a direct sequence modeling setting for NAP. In this paper, we fill this gap with a systematic benchmark. We compare vocabulary-adapted LLMs, Transformers trained from scratch, LLM-distilled Transformers, and LSTMs against a simple counting-based argmax baseline across seven real-life event logs. Our results tell a David vs. Goliath story: pretraining confers no consistent improvement over training from scratch, model size shows little effect on performance, and on most datasets the argmax baseline matches or approaches the performance of billion-parameter LLMs.
• Abstract（参考訳）: 次のアクティビティ予測(NAP)は、予測プロセス監視(PPM)の基礎であり、振り返り分析から前向きなプロセスステアリングへの移行を可能にする。 PPM分野は古典的な機械学習からLSTMやTransformerといったディープラーニングアーキテクチャから大規模言語モデル(LLM)へと進歩してきた。 モデル複雑性の増大にもかかわらず、NAPの直接シーケンスモデリング設定において、LCM、トランスフォーマー、LSTM、および単純なベースラインを共同で比較するベンチマークは存在しない。 本稿では,このギャップを系統的なベンチマークで埋める。 我々は,語彙適応型LPM,スクラッチから学習したトランスフォーマー,LDM蒸留トランスフォーマー,LSTMを,実生活イベントログの単純なカウントベースのargmaxベースラインと比較した。 事前トレーニングは、スクラッチからのトレーニングよりも一貫した改善をもたらすものではなく、モデルのサイズはパフォーマンスにはほとんど影響を与えず、ほとんどのデータセットでは、argmaxベースラインは10億パラメータのLCMのパフォーマンスにマッチするか、アプローチします。

関連論文リスト

• MLLM-DataEngine: Closing the Loop of Multimodal Instruction Tuning Data Generation [51.15583711678273]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループイテレーションの中で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 MLLM-DataEngineは,人間を介さずに,目標かつ自動でMLLMの能力を高めることができる。
  論文  参考訳（メタデータ） (2026-07-07T08:35:38Z)
• NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints [100.02131897927484]
  本稿では,Multimodal Large Language Models(MLLM)のエンドツーエンドなネイティブトレーニングに焦点を当てる。 そこで我々は,NaViLと呼ばれるネイティブMLLMと,シンプルで費用対効果の高いレシピを組み合わせて提案する。 14のマルチモーダルベンチマークによる実験結果から,既存のMLLMに対するNaViLの競合性能が確認された。
  論文  参考訳（メタデータ） (2025-10-09T17:59:37Z)
• xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity [22.40851170527]
  スケーリング法則は、大規模言語モデルの成功において中心的な役割を果たす。 xLSTMのような最近の選択肢は、コンテキスト長に関する線形複雑性を提供する。 xLSTMの利点は、トレーニングと推論のコンテキストが大きくなるにつれて拡大します。
  論文  参考訳（メタデータ） (2025-10-02T17:14:34Z)
• Fusing Large Language Models with Temporal Transformers for Time Series Forecasting [17.549938378193282]
  大規模言語モデル(LLM)は、様々なタスクを実行する上で強力な能力を示している。 LLMは離散トークンやセマンティックパターンの推論に長けている。 バニラトランスフォーマーは、しばしば高レベルのセマンティックパターンを学ぶのに苦労する。
  論文  参考訳（メタデータ） (2025-07-14T09:33:40Z)
• Understanding Why Large Language Models Can Be Ineffective in Time Series Analysis: The Impact of Modality Alignment [16.147350486106777]
  大規模言語モデル (LLM) は時系列解析において顕著な性能を示した。 しかしながら、LLMは時系列タスク用に設計されていないため、線形回帰のような単純なモデルは、しばしば同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-10-16T07:47:31Z)
• PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning [17.73193523921637]
  大規模言語モデル(LLM)は、多様な自然言語処理(NLP)タスクにおいて顕著な能力を示している。 LLMは通常、制御された微調整(SFT)を行い、その後、下流のアプリケーションで使用できるように調整する。 本稿では,PLMファインチューニングのための新しいPArallelトレーニングパラダイムであるPAFTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T20:11:37Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。