論文の概要: Large Language Models as Interpolated and Extrapolated Event Predictors
- arxiv url: http://arxiv.org/abs/2406.10492v2
- Date: Sat, 30 Nov 2024 21:27:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 16:56:27.139966
- Title: Large Language Models as Interpolated and Extrapolated Event Predictors
- Title（参考訳）: 補間および外挿イベント予測器としての大規模言語モデル
- Authors: Libo Zhang, Yue Ning,
- Abstract要約: 大規模言語モデル(LLM)がイベント予測フレームワークの設計をいかに効率化するかを検討する。
イベント予測器として大規模言語モデルを活用する統合フレームワークLEAPを提案する。
- 参考スコア（独自算出の注目度）: 10.32127659470566
- License:
- Abstract: Salient facts of sociopolitical events are distilled into quadruples following a format of subject, relation, object, and timestamp. Machine learning methods, such as graph neural networks (GNNs) and recurrent neural networks (RNNs), have been built to make predictions and infer relations on the quadruple-based knowledge graphs (KGs). In many applications, quadruples are extended to quintuples with auxiliary attributes such as text summaries that describe the quadruple events. In this paper, we comprehensively investigate how large language models (LLMs) streamline the design of event prediction frameworks using quadruple-based or quintuple-based data while maintaining competitive accuracy. We propose LEAP, a unified framework that leverages large language models as event predictors. Specifically, we develop multiple prompt templates to frame the object prediction (OP) task as a standard question-answering (QA) task, suitable for instruction fine-tuning with an encoder-decoder LLM. For multi-event forecasting (MEF) task, we design a simple yet effective prompt template for each event quintuple. This novel approach removes the need for GNNs and RNNs, instead utilizing an encoder-only LLM to generate fixed intermediate embeddings, which are processed by a customized downstream head with a self-attention mechanism to predict potential relation occurrences in the future. Extensive experiments on multiple real-world datasets using various evaluation metrics validate the effectiveness of our approach.
- Abstract（参考訳）: 社会政治的な出来事の健全な事実は、主題、関係、対象、タイムスタンプの形式に従って4倍に蒸留される。
グラフニューラルネットワーク(GNN)やリカレントニューラルネットワーク(RNN)といった機械学習手法は、四重項ベースの知識グラフ(KG)の予測と推論のために構築されている。
多くの応用において、四重項は四重項イベントを記述するテキスト要約のような補助的な属性を持つ四重項に拡張される。
本稿では,大規模言語モデル(LLM)が,競合精度を維持しつつ,四重項ベースあるいは四重項ベースのデータを用いてイベント予測フレームワークの設計を合理化する方法を包括的に検討する。
イベント予測器として大規模言語モデルを活用する統合フレームワークLEAPを提案する。
具体的には、オブジェクト予測(OP)タスクを標準質問応答(QA)タスクとしてフレーム化するための複数のプロンプトテンプレートを開発する。
マルチイベント予測(MEF)タスクでは,イベント毎のトリプルに対して,シンプルだが効果的なプロンプトテンプレートを設計する。
この新しいアプローチでは、GNNやRNNの必要性を排除し、エンコーダのみのLLMを使用して、カスタマイズされた下流ヘッドによって処理され、将来起こりうる関係を予測できる自己保持機構を備えた、固定された中間埋め込みを生成する。
各種評価指標を用いた複数の実世界のデータセットに対する大規模な実験により,本手法の有効性が検証された。
関連論文リスト
- TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。
TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。
実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-17T04:17:27Z) - 4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。
予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。
マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。
大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
論文 参考訳（メタデータ） (2024-04-28T15:04:54Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - LPNL: Scalable Link Prediction with Large Language Models [46.65436204783482]
この作業はリンク予測タスクに重点を置いており、大規模言語モデルに基づくフレームワークであるtextbfLPNL$ (Link Prediction via Natural Language)を導入している。
我々は、自然言語でグラフの詳細を記述したリンク予測のための新しいプロンプトを設計する。
本稿では,グラフから重要な情報を抽出するための2段階サンプリングパイプラインと,入力トークンを制御するための分割・分散戦略を提案する。
論文 参考訳（メタデータ） (2024-01-24T04:50:16Z) - MAP: A Model-agnostic Pretraining Framework for Click-through Rate
Prediction [39.48740397029264]
本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。
マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2023-08-03T12:55:55Z) - Pre-trained Language Model with Prompts for Temporal Knowledge Graph
Completion [30.50032335014021]
我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。
サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。
我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
論文 参考訳（メタデータ） (2023-05-13T12:53:11Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳（メタデータ） (2023-03-29T17:03:21Z) - A Generative Approach for Script Event Prediction via Contrastive
Fine-tuning [35.87615178251874]
Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。
近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。
本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
論文 参考訳（メタデータ） (2022-12-07T07:32:47Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Turning Tables: Generating Examples from Semi-structured Tables for
Endowing Language Models with Reasoning Skills [32.55545292360155]
本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。
16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。
我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-07-15T11:37:14Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。