論文の概要: Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning

• arxiv url: http://arxiv.org/abs/2305.16646v2
• Date: Sun, 8 Oct 2023 03:27:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 12:05:31.265891
• Title: Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning
• Title（参考訳）: 限定的な推論によるイベント予測を改善する言語モデル
• Authors: Xiaoming Shi, Siqiao Xue, Kangrui Wang, Fan Zhou, James Y. Zhang, Jun Zhou, Chenhao Tan, Hongyuan Mei
• Abstract要約: イベント予測に大規模な言語モデルを統合するフレームワークであるLAMPを設計する。 我々のフレームワークは、最先端のイベントシーケンスモデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 39.88235543961191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have shown astonishing performance on a wide range of reasoning tasks. In this paper, we investigate whether they could reason about real-world events and help improve the prediction performance of event sequence models. We design LAMP, a framework that integrates a large language model in event prediction. Particularly, the language model performs abductive reasoning to assist an event sequence model: the event model proposes predictions on future events given the past; instructed by a few expert-annotated demonstrations, the language model learns to suggest possible causes for each proposal; a search module finds out the previous events that match the causes; a scoring function learns to examine whether the retrieved events could actually cause the proposal. Through extensive experiments on several challenging real-world datasets, we demonstrate that our framework -- thanks to the reasoning capabilities of large language models -- could significantly outperform the state-of-the-art event sequence models.
• Abstract（参考訳）: 大規模言語モデルは、幅広い推論タスクにおいて驚くべきパフォーマンスを示している。 本稿では,実世界の事象を推論できるかどうかを調査し,イベントシーケンスモデルの予測性能の向上に寄与する。 イベント予測に大規模な言語モデルを統合するフレームワークであるLAMPを設計する。 特に、言語モデルは、イベントシーケンスモデルを支援するためにアブダプティブ推論を実行する: イベントモデルは、与えられた過去のイベントの予測を提案し、いくつかの専門家によるデモによって指示される、言語モデルは、各提案に可能な原因を示唆することを学ぶ; 検索モジュールは、その原因にマッチする以前のイベントを見つける; スコアリング関数は、検索されたイベントが実際に提案を引き起こすかどうかを調べるために学習する。 いくつかの挑戦的な実世界のデータセットに関する広範な実験を通じて、大規模言語モデルの推論能力のおかげで、我々のフレームワークが最先端のイベントシーケンスモデルを大幅に上回ることを実証しました。

関連論文リスト

• Event Argument Extraction with Enriched Prompts [16.72775048643511]
  本稿では,様々な種類の情報をモデル性能に組み込むことがモデル性能に与える影響について検討する。 我々は、訓練目標の観点から、プロンプトベースのAEモデルを達成し、そのようなモデルを更に最適化できる最高の性能を提供する。
  論文  参考訳（メタデータ） (2025-01-12T14:38:51Z)
• EVIT: Event-Oriented Instruction Tuning for Event Reasoning [18.012724531672813]
  イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度が一貫して示されていない。
  論文  参考訳（メタデータ） (2024-04-18T08:14:53Z)
• Prompt Mining for Language-based Human Mobility Forecasting [10.325794804095889]
  本稿では,言語に基づくモビリティ予測における迅速なマイニングのための新しいフレームワークを提案する。 本発明のフレームワークは、プロンプトの情報エントロピーに基づく即時生成段階と、思考の連鎖などのメカニズムを統合する即時改善段階とを含む。
  論文  参考訳（メタデータ） (2024-03-06T08:43:30Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• A Generative Approach for Script Event Prediction via Contrastive Fine-tuning [35.87615178251874]
  Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。 近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。 本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2022-12-07T07:32:47Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction [80.61458287741131]
  ゼロショット言語間イベント引数抽出(EAE)における多言語事前学習型生成言語モデルの活用について検討する。 EAEを言語生成タスクとして定式化することにより、イベント構造を効果的にエンコードし、引数間の依存関係をキャプチャする。 提案するモデルでは,多言語事前学習型生成言語モデルを用いて,入力文から抽出した引数で言語に依存しないテンプレートを補う文を生成する。
  論文  参考訳（メタデータ） (2022-03-15T23:00:32Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。