論文の概要: Large Language Models as Interpolated and Extrapolated Event Predictors
- arxiv url: http://arxiv.org/abs/2406.10492v2
- Date: Sat, 30 Nov 2024 21:27:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 16:56:27.139966
- Title: Large Language Models as Interpolated and Extrapolated Event Predictors
- Title（参考訳）: 補間および外挿イベント予測器としての大規模言語モデル
- Authors: Libo Zhang, Yue Ning,
- Abstract要約: 大規模言語モデル(LLM)がイベント予測フレームワークの設計をいかに効率化するかを検討する。
イベント予測器として大規模言語モデルを活用する統合フレームワークLEAPを提案する。
- 参考スコア（独自算出の注目度）: 10.32127659470566
- License:
- Abstract: Salient facts of sociopolitical events are distilled into quadruples following a format of subject, relation, object, and timestamp. Machine learning methods, such as graph neural networks (GNNs) and recurrent neural networks (RNNs), have been built to make predictions and infer relations on the quadruple-based knowledge graphs (KGs). In many applications, quadruples are extended to quintuples with auxiliary attributes such as text summaries that describe the quadruple events. In this paper, we comprehensively investigate how large language models (LLMs) streamline the design of event prediction frameworks using quadruple-based or quintuple-based data while maintaining competitive accuracy. We propose LEAP, a unified framework that leverages large language models as event predictors. Specifically, we develop multiple prompt templates to frame the object prediction (OP) task as a standard question-answering (QA) task, suitable for instruction fine-tuning with an encoder-decoder LLM. For multi-event forecasting (MEF) task, we design a simple yet effective prompt template for each event quintuple. This novel approach removes the need for GNNs and RNNs, instead utilizing an encoder-only LLM to generate fixed intermediate embeddings, which are processed by a customized downstream head with a self-attention mechanism to predict potential relation occurrences in the future. Extensive experiments on multiple real-world datasets using various evaluation metrics validate the effectiveness of our approach.
- Abstract（参考訳）: 社会政治的な出来事の健全な事実は、主題、関係、対象、タイムスタンプの形式に従って4倍に蒸留される。
グラフニューラルネットワーク(GNN)やリカレントニューラルネットワーク(RNN)といった機械学習手法は、四重項ベースの知識グラフ(KG)の予測と推論のために構築されている。
多くの応用において、四重項は四重項イベントを記述するテキスト要約のような補助的な属性を持つ四重項に拡張される。
本稿では,大規模言語モデル(LLM)が,競合精度を維持しつつ,四重項ベースあるいは四重項ベースのデータを用いてイベント予測フレームワークの設計を合理化する方法を包括的に検討する。
イベント予測器として大規模言語モデルを活用する統合フレームワークLEAPを提案する。
具体的には、オブジェクト予測(OP)タスクを標準質問応答(QA)タスクとしてフレーム化するための複数のプロンプトテンプレートを開発する。
マルチイベント予測(MEF)タスクでは,イベント毎のトリプルに対して,シンプルだが効果的なプロンプトテンプレートを設計する。
この新しいアプローチでは、GNNやRNNの必要性を排除し、エンコーダのみのLLMを使用して、カスタマイズされた下流ヘッドによって処理され、将来起こりうる関係を予測できる自己保持機構を備えた、固定された中間埋め込みを生成する。
各種評価指標を用いた複数の実世界のデータセットに対する大規模な実験により,本手法の有効性が検証された。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - MM-Forecast: A Multimodal Approach to Temporal Event Forecasting with Large Language Models [55.5765505287505]
大規模言語モデルを用いた多モーダル時間事象予測の新興かつ興味深い課題について検討する。
本稿では,画像が時間的事象予測のシナリオで果たす重要な2つの機能,すなわちハイライトと補完機能について述べる。
我々は,これらの関数記述を大規模言語モデルに組み込んだ,MM-Forecastという新しいフレームワークを開発した。
論文 参考訳（メタデータ） (2024-08-08T11:44:57Z) - Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:42:17Z) - Interaction Event Forecasting in Multi-Relational Recursive HyperGraphs: A Temporal Point Process Approach [12.142292322071299]
本研究は,マルチリレーショナル再帰的ハイパーグラフにおける高次相互作用事象の予測問題に対処する。
提案したモデルであるtextitRelational Recursive Hyperedge Temporal Point Process (RRHyperTPP) は,歴史的相互作用パターンに基づいて動的ノード表現を学習するエンコーダを使用する。
我々は,従来のインタラクション予測手法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-04-27T15:46:54Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - MTS2Graph: Interpretable Multivariate Time Series Classification with
Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。
UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文 参考訳（メタデータ） (2023-06-06T16:24:27Z) - Pre-trained Language Model with Prompts for Temporal Knowledge Graph
Completion [30.50032335014021]
我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。
サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。
我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
論文 参考訳（メタデータ） (2023-05-13T12:53:11Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-01T09:52:31Z) - TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object
Tracking [8.791710193028903]
本研究は,グラフに基づくデータ構造を用いて問題をモデル化する多目的追跡(MOT)への多くの従来のアプローチに従う。
複数のタイムステップにまたがるデータ関連問題を表す動的無方向性グラフに基づくフレームワークを作成する。
また、メモリ効率が高く、リアルタイムなオンラインアルゴリズムを作成するために対処する必要がある計算問題に対するソリューションと提案も提供します。
論文 参考訳（メタデータ） (2021-01-11T21:52:25Z) - Modeling Preconditions in Text with a Crowd-sourced Dataset [17.828175478279654]
本稿では,ニュースワイヤにおけるイベントペア間の事前条件のクラウドソースアノテーションであるPeKoを紹介する。
前提条件のモデル化を目的とした2つの課題タスクも導入する。
両方のタスクの評価は、今日の大規模言語モデルでさえ、事前条件のモデリングが困難であることを示している。
論文 参考訳（メタデータ） (2020-10-06T01:52:34Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳（メタデータ） (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。