論文の概要: Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning
- arxiv url: http://arxiv.org/abs/2311.09821v2
- Date: Fri, 12 Jul 2024 16:37:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 05:37:11.079422
- Title: Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning
- Title（参考訳）: マルチホップQAデータセットと擬似インストラクションチューニングによる大規模言語モデルのロバスト時間推論に向けて
- Authors: Qingyu Tan, Hwee Tou Ng, Lidong Bing,
- Abstract要約: 大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
- 参考スコア（独自算出の注目度）: 73.51314109184197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge in the real world is being updated constantly. However, it is costly to frequently update large language models (LLMs). Therefore, it is crucial for LLMs to understand the concept of temporal knowledge. However, prior works on temporal question answering (TQA) did not emphasize multi-answer and multi-hop types of temporal reasoning. In this paper, we propose a complex temporal question-answering dataset Complex-TR that focuses on multi-answer and multi-hop temporal reasoning. Besides, we also propose a novel data augmentation strategy to improve the complex temporal reasoning capability and robustness of LLMs. We conducted experiments on multiple temporal QA datasets. Experimental results show that our method is able to improve LLMs' performance on temporal QA benchmarks by significant margins. Our code and data are released at: https://github.com/nusnlp/complex-tr.
- Abstract（参考訳）: 現実世界の知識は常に更新されている。
しかし、大きな言語モデル(LLM)を頻繁に更新するのはコストがかかる。
したがって、LLMには時間的知識の概念を理解することが不可欠である。
しかし、時間的質問応答 (TQA) に関する先行研究は、時間的推論の複数解答と複数ホップタイプを強調していなかった。
本稿では,複数の質問応答と複数ホップの時間的推論に焦点をあてた,複雑な時間的質問応答データセットであるComplex-TRを提案する。
また,LLMの複雑な時間的推論能力とロバスト性を改善するために,新たなデータ拡張戦略を提案する。
複数の時間的QAデータセットについて実験を行った。
実験結果から,本手法は時間的QAベンチマークにおけるLLMの性能をかなりのマージンで向上できることが示された。
私たちのコードとデータは、https://github.com/nusnlp/complex-tr.comでリリースされています。
関連論文リスト
- Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering [23.98067169669452]
Time-Sensitive Question Answering (TSQA)は、特定の時間的文脈を効果的に活用することを要求する。
本稿では,時間的認知と推論を時間的情報認識の埋め込みとグラニュラコントラスト強化学習を通じて促進する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-25T13:13:21Z) - Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。
調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。
我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
論文 参考訳（メタデータ） (2024-07-22T20:13:10Z) - Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
時間的推論は、世界を理解するための大きな言語モデルの基本である。
CoTempQAは4つの時間的シナリオを含むベンチマークである。
実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-06-13T12:56:21Z) - Self-Improvement Programming for Temporal Knowledge Graph Question Answering [31.33908040172437]
時間的知識グラフ質問回答(TKGQA)は、時間的知識グラフ(TKG)に対する時間的意図で質問に答えることを目的としている。
既存のエンドツーエンドの手法は、質問や候補者の回答の埋め込みを学習することで、時間制約を暗黙的にモデル化する。
TKGQA(Prog-TQA)のための新しい自己改善プログラミング手法を提案する。
論文 参考訳（メタデータ） (2024-04-02T08:14:27Z) - Multi-hop Question Answering under Temporal Knowledge Editing [9.356343796845662]
知識編集(KE)におけるマルチホップ質問応答(MQA)は,大規模言語モデルの時代において大きな注目を集めている。
KEの下でのMQAの既存のモデルは、明示的な時間的コンテキストを含む質問を扱う場合、パフォーマンスが劣っている。
TEMPoral knowLEdge augmented Multi-hop Question Answering (TEMPLE-MQA) を提案する。
論文 参考訳（メタデータ） (2024-03-30T23:22:51Z) - Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。
我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-03-03T03:06:31Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳（メタデータ） (2024-02-17T05:22:56Z) - Towards Benchmarking and Improving the Temporal Reasoning Capability of
Large Language Models [44.670550143705746]
本研究では,大規模言語モデルの時間的推論能力を評価するために,総合的な探索データセットテンプレートを導入する。
我々のデータセットには3つの時間的推論レベルに関する質問が含まれている。
また,大規模言語モデルの時間的推論能力を向上させるための新しい学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-15T08:44:41Z) - Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic [84.59255070520673]
大きな言語モデル(LLM)は、時間的推論に関わる際に課題に直面します。
本研究では,時間的質問応答タスクに特化して設計された新しいフレームワークであるTempLogicを提案する。
論文 参考訳（メタデータ） (2023-05-24T10:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。