論文の概要: Back to the Future: Towards Explainable Temporal Reasoning with Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.01074v2
- Date: Sun, 8 Oct 2023 12:45:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 02:20:07.554145
- Title: Back to the Future: Towards Explainable Temporal Reasoning with Large
Language Models
- Title(参考訳): 未来へ:大規模言語モデルによる説明可能な時間推論を目指して
- Authors: Chenhan Yuan, Qianqian Xie, Jimin Huang and Sophia Ananiadou
- Abstract要約: そこで本稿では,コンテキストに基づいたイベント発生の予測を行うために,時間的推論を記述可能な最初のタスクを紹介する。
本研究では,時間的予測と説明の最先端性能を実現する方法を示す。
- 参考スコア(独自算出の注目度): 33.8108950744839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal reasoning is a crucial NLP task, providing a nuanced understanding
of time-sensitive contexts within textual data. Although recent advancements in
LLMs have demonstrated their potential in temporal reasoning, the predominant
focus has been on tasks such as temporal expression and temporal relation
extraction. These tasks are primarily designed for the extraction of direct and
past temporal cues and to engage in simple reasoning processes. A significant
gap remains when considering complex reasoning tasks such as event forecasting,
which requires multi-step temporal reasoning on events and prediction on the
future timestamp. Another notable limitation of existing methods is their
incapability to provide an illustration of their reasoning process, hindering
explainability. In this paper, we introduce the first task of explainable
temporal reasoning, to predict an event's occurrence at a future timestamp
based on context which requires multiple reasoning over multiple events, and
subsequently provide a clear explanation for their prediction. Our task offers
a comprehensive evaluation of both the LLMs' complex temporal reasoning
ability, the future event prediction ability, and explainability-a critical
attribute for AI applications. To support this task, we present the first
multi-source instruction-tuning dataset of explainable temporal reasoning
(ExpTime) with 26k derived from the temporal knowledge graph datasets and their
temporal reasoning paths, using a novel knowledge-graph-instructed-generation
strategy. Based on the dataset, we propose the first open-source LLM series
TimeLlaMA based on the foundation LlaMA2, with the ability of instruction
following for explainable temporal reasoning. We compare the performance of our
method and a variety of LLMs, where our method achieves the state-of-the-art
performance of temporal prediction and explanation.
- Abstract(参考訳): 時間的推論は重要なNLPタスクであり、テキストデータ内の時間に敏感なコンテキストの微妙な理解を提供する。
LLMの最近の進歩は、時間的推論におけるその可能性を示しているが、主に時間的表現や時間的関係抽出といったタスクに焦点を当てている。
これらのタスクは、主に直接的および過去の時間的手がかりを抽出し、単純な推論プロセスに従事するように設計されている。
イベントの予測や将来のタイムスタンプの予測に多段階の時間的推論を必要とするイベント予測のような複雑な推論タスクを考える場合、大きなギャップは残る。
既存の方法のもう一つの注目すべき制限は、説明可能性を妨げる推論過程の図示ができないことである。
本稿では,複数の事象にまたがる複数の推論を必要とする文脈に基づいて,将来のタイムスタンプにおける事象の発生を予測するための,説明可能な時間的推論の最初のタスクを紹介し,その予測の明確な説明を提供する。
我々のタスクは、LLMの複雑な時間的推論能力、将来の事象予測能力、AIアプリケーションにおける説明可能性の重要な属性の両方を包括的に評価する。
この課題を支援するために,時間的知識グラフデータセットとその時間的推論経路から導出した26kの説明可能な時間的推論(ExpTime)を,新しい知識グラフ命令型世代戦略を用いて提案する。
このデータセットに基づいて,LlaMA2の基礎をベースとした最初のオープンソースLLMシリーズであるTimeLlaMAを提案する。
本手法は,時間予測と説明の最先端性能を実現するため,本手法の性能と様々なllmを比較した。
関連論文リスト
- TimeBench: A Comprehensive Evaluation of Temporal Reasoning Abilities in
Large Language Models [31.143545117858704]
階層的時間的推論ベンチマークであるTimeBenchを提案する。
TimeBenchは、大規模な言語モデルの時間的推論能力を調べるための徹底的な評価を提供する。
実験結果から, 最先端のLDMと人間の間には, 顕著な性能差があることが示唆された。
論文 参考訳(メタデータ) (2023-11-29T14:30:16Z) - Towards Robust Temporal Reasoning of Large Language Models via a
Multi-Hop QA Dataset and Pseudo-Instruction Tuning [82.62140347732284]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳(メタデータ) (2023-11-16T11:49:29Z) - Temporal Knowledge Question Answering via Abstract Reasoning Induction [34.42547947458204]
大規模言語モデル(LLM)における時間的知識推論の重要な課題に取り組む。
我々の提案の中心は抽象推論誘導ARIフレームワークであり、時間的推論を知識に依存しないものと知識に基づく2つの異なるフェーズに分割する。
提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
論文 参考訳(メタデータ) (2023-11-15T17:46:39Z) - From Indeterminacy to Determinacy: Augmenting Logical Reasoning
Capabilities with Large Language Models [79.88472218252224]
DetermLRは、推論プロセスを非決定的な前提から非決定的な前提へと転換する過程として定式化する、新しい推論フレームワークである。
DetermLRは、訪問する状態を少なくし、論理的推論タスクに対処する上で、その優れた効率性と有効性を強調しながら、より良い推論性能を達成することができる。
論文 参考訳(メタデータ) (2023-10-28T10:05:51Z) - TRAM: Benchmarking Temporal Reasoning for Large Language Models [14.30980373935713]
10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。
一般的な大言語モデル(LLM)を用いて広範囲な評価を行う。
以上の結果から,これらのモデルが時間的推論タスクにおいて,人間のパフォーマンスに追随していることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T00:59:07Z) - Reason for Future, Act for Now: A Principled Framework for Autonomous
LLM Agents with Provable Sample Efficiency [53.8779374188643]
本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。
具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。
各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
論文 参考訳(メタデータ) (2023-09-29T16:36:39Z) - An Overview Of Temporal Commonsense Reasoning and Acquisition [20.108317515225504]
時間的コモンセンス推論(英: Temporal Commonsense reasoning)とは、フレーズ、行動、出来事の典型的な時間的文脈を理解する能力である。
大規模言語モデルの性能に関する最近の研究は、しばしば推論においてショートカットを行い、単純な言語トラップに陥ることが示唆されている。
論文 参考訳(メタデータ) (2023-07-28T01:30:15Z) - Unlocking Temporal Question Answering for Large Language Models Using
Code Execution [38.945784849917004]
大規模言語モデル(LLM)は自然言語処理(NLP)において大きな進歩を遂げている。
本稿では,LLMの抽出能力とPythonソルバの論理的推論能力を組み合わせた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:57:53Z) - Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。
TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。
共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
論文 参考訳(メタデータ) (2022-12-20T17:40:03Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-05-17T22:02:24Z) - Temporal Reasoning on Implicit Events from Distant Supervision [91.20159064951487]
本稿では,暗黙的事象の理解度を評価する新しい時間的推論データセットを提案する。
我々は、暗黙の出来事と明示的な出来事の間の時間的関係を予測する際に、最先端のモデルが苦労していることを発見した。
本稿では,大規模テキストからの遠隔監視信号を利用して終末時刻を推定する,ニューロシンボリックな時間的推論モデルSYMTIMEを提案する。
論文 参考訳(メタデータ) (2020-10-24T03:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。