論文の概要: Towards Robust Temporal Reasoning of Large Language Models via a
Multi-Hop QA Dataset and Pseudo-Instruction Tuning
- arxiv url: http://arxiv.org/abs/2311.09821v1
- Date: Thu, 16 Nov 2023 11:49:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:30:35.823112
- Title: Towards Robust Temporal Reasoning of Large Language Models via a
Multi-Hop QA Dataset and Pseudo-Instruction Tuning
- Title(参考訳): マルチホップQAデータセットと擬似指導チューニングによる大規模言語モデルのロバスト時間推論に向けて
- Authors: Qingyu Tan, Hwee Tou Ng, Lidong Bing
- Abstract要約: 大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
- 参考スコア(独自算出の注目度): 82.62140347732284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge in the real world is being updated constantly. However, it is
costly to frequently update large language models (LLMs). Therefore, it is
crucial for LLMs to understand the concept of temporal knowledge. However,
prior works on temporal question answering did not emphasize multi-answer and
multi-hop types of temporal reasoning. In this paper, we propose a complex
temporal question-answering (QA) dataset Complex-TR that focuses on
multi-answer and multi-hop temporal reasoning. Besides, we also propose a novel
data augmentation strategy to improve the complex temporal reasoning capability
and robustness of LLMs. We conducted experiments on multiple temporal QA
datasets. Experimental results show that our method is able to improve LLMs'
performance on temporal QA benchmarks by significant margins.
- Abstract(参考訳): 現実世界の知識は常に更新されている。
しかし、大きな言語モデル(LLM)を頻繁に更新するのはコストがかかる。
したがって、llmは時間知識の概念を理解することが重要である。
しかしながら、時間的質問応答に関する先行研究では、マルチアンウェル型やマルチホップ型の時間的推論は強調されなかった。
本稿では,マルチアンワーとマルチホップの時間推論に焦点をあてた,qaデータセットであるcomplex-trを提案する。
また,LLMの複雑な時間的推論能力とロバスト性を改善するための新しいデータ拡張戦略を提案する。
複数の時間的QAデータセットについて実験を行った。
実験結果から,本手法は時間的QAベンチマークにおけるLLMの性能をかなりのマージンで向上できることが示された。
関連論文リスト
- Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。
我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
論文 参考訳(メタデータ) (2024-03-03T03:06:31Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Position Paper: What Can Large Language Models Tell Us about Time Series
Analysis [72.33053089061899]
現在の大規模言語モデル(LLM)は時系列解析に革命をもたらす可能性があると我々は主張する。
このような進歩は、モダリティスイッチングや時系列質問応答など、幅広い可能性を解き放つ可能性がある。
論文 参考訳(メタデータ) (2024-02-05T04:17:49Z) - Temporal Blind Spots in Large Language Models [20.631107338678234]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。
本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
論文 参考訳(メタデータ) (2024-01-22T16:20:14Z) - Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion [24.545917737620197]
時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。
本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
論文 参考訳(メタデータ) (2024-01-11T17:42:47Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - MenatQA: A New Dataset for Testing the Temporal Comprehension and
Reasoning Abilities of Large Language Models [17.322480769274062]
大規模言語モデル(LLM)は、多くの自然言語処理(NLP)タスクにおいてほぼ飽和した性能を示している。
本稿では,LLMの時間的理解と推論能力を評価するために,合計2,853個のサンプルを用いた多感性因子時間QA(MenatQA)を構築した。
論文 参考訳(メタデータ) (2023-10-08T13:19:52Z) - Towards Benchmarking and Improving the Temporal Reasoning Capability of
Large Language Models [44.670550143705746]
本研究では,大規模言語モデルの時間的推論能力を評価するために,総合的な探索データセットテンプレートを導入する。
我々のデータセットには3つの時間的推論レベルに関する質問が含まれている。
また,大規模言語モデルの時間的推論能力を向上させるための新しい学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-15T08:44:41Z) - Unlocking Temporal Question Answering for Large Language Models Using
Code Execution [38.945784849917004]
大規模言語モデル(LLM)は自然言語処理(NLP)において大きな進歩を遂げている。
本稿では,LLMの抽出能力とPythonソルバの論理的推論能力を組み合わせた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:57:53Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。