論文の概要: Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning

• arxiv url: http://arxiv.org/abs/2406.09170v1
• Date: Thu, 13 Jun 2024 14:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:24:35.029537
• Title: Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning
• Title（参考訳）: テスト・オブ・タイム:時間的推論におけるLCMの評価ベンチマーク
• Authors: Bahare Fatemi, Mehran Kazemi, Anton Tsitsulin, Karishma Malkan, Jinyeong Yim, John Palowitch, Sungyong Seo, Jonathan Halcrow, Bryan Perozzi,
• Abstract要約: 大きな言語モデル(LLM)は驚くべき推論機能を示しているが、エラーの影響を受けやすい。 種々のシナリオにおいて,LLMの時間的推論能力を評価するために特別に設計された新しい合成データセットを提案する。 本研究は, 時間的推論作業におけるLLMの強度と弱点について, 貴重な知見を提供するものである。
• 参考スコア（独自算出の注目度）: 20.066249913943405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have showcased remarkable reasoning capabilities, yet they remain susceptible to errors, particularly in temporal reasoning tasks involving complex temporal logic. Existing research has explored LLM performance on temporal reasoning using diverse datasets and benchmarks. However, these studies often rely on real-world data that LLMs may have encountered during pre-training or employ anonymization techniques that can inadvertently introduce factual inconsistencies. In this work, we address these limitations by introducing novel synthetic datasets specifically designed to assess LLM temporal reasoning abilities in various scenarios. The diversity of question types across these datasets enables systematic investigation into the impact of the problem structure, size, question type, fact order, and other factors on LLM performance. Our findings provide valuable insights into the strengths and weaknesses of current LLMs in temporal reasoning tasks. To foster further research in this area, we are open-sourcing the datasets and evaluation framework used in our experiments: https://huggingface.co/datasets/baharef/ToT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な推論能力を示したが、特に複雑な時間的論理を含む時間的推論タスクにおいて、エラーの影響を受けやすいままである。 既存の研究では、多様なデータセットとベンチマークを用いた時間的推論におけるLLM性能について検討している。 しかし、これらの研究は、LLMが事前訓練中に遭遇したかもしれない実世界のデータや、事実の矛盾を必然的に導入できる匿名化技術に頼っていることが多い。 本研究では,様々なシナリオにおいてLLMの時間的推論能力を評価するために特別に設計された新しい合成データセットを導入することにより,これらの制約に対処する。 これらのデータセットにまたがる質問タイプの多様性は、問題構造、サイズ、質問タイプ、事実順序、その他の要因がLLMのパフォーマンスに与える影響を体系的に調査することができる。 本研究は, 時間的推論作業におけるLLMの強みと弱みについて, 貴重な知見を提供するものである。 この分野のさらなる研究を促進するため、私たちは、実験で使用されるデータセットと評価フレームワークをオープンソース化しています。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。 対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
  時間的推論は、世界を理解するための大きな言語モデルの基本である。 CoTempQAは4つの時間的シナリオを含むベンチマークである。 実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-13T12:56:21Z)
• Temporal Blind Spots in Large Language Models [20.631107338678234]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。 本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
  論文  参考訳（メタデータ） (2024-01-22T16:20:14Z)
• NPHardEval: Dynamic Benchmark on Reasoning Ability of Large Language Models via Complexity Classes [32.154637177467684]
  NPHardEvalは、900の質問の幅広い範囲にわたって、LLM(Large Language Models)の推論能力を評価するように設計されている。 NP-ハード複雑性クラス以下の幅広い複雑性クラスを表現するために慎重に選択される。 データポイントを毎月更新する動的更新メカニズムで設計されている。
  論文  参考訳（メタデータ） (2023-12-22T18:07:44Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)
• MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models [17.322480769274062]
  大規模言語モデル(LLM)は、多くの自然言語処理(NLP)タスクにおいてほぼ飽和した性能を示している。 本稿では,LLMの時間的理解と推論能力を評価するために,合計2,853個のサンプルを用いた多感性因子時間QA(MenatQA)を構築した。
  論文  参考訳（メタデータ） (2023-10-08T13:19:52Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。