論文の概要: STBench: Assessing the Ability of Large Language Models in Spatio-Temporal Analysis

• arxiv url: http://arxiv.org/abs/2406.19065v1
• Date: Thu, 27 Jun 2024 10:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:27:46.546202
• Title: STBench: Assessing the Ability of Large Language Models in Spatio-Temporal Analysis
• Title（参考訳）: STBench:時空間分析における大規模言語モデルの能力の評価
• Authors: Wenbin Li, Di Yao, Ruibo Zhao, Wenjie Chen, Zijie Xu, Chengxue Luo, Chang Gong, Quanliang Jing, Haining Tan, Jingping Bi,
• Abstract要約: 大規模言語モデル(LLM)は、大規模言語モデルの急速な急速な進化の方法論を改革することを約束している。 本稿では、ベンチマークデータセットSTBenchを構築し、13の異なる計算タスクと6万以上のQAペアを含む。 実験結果から,既存のLLMは知識理解と時間差推論に顕著な性能を示した。
• 参考スコア（独自算出の注目度）: 12.582867572800488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid evolution of large language models (LLMs) holds promise for reforming the methodology of spatio-temporal data mining. However, current works for evaluating the spatio-temporal understanding capability of LLMs are somewhat limited and biased. These works either fail to incorporate the latest language models or only focus on assessing the memorized spatio-temporal knowledge. To address this gap, this paper dissects LLMs' capability of spatio-temporal data into four distinct dimensions: knowledge comprehension, spatio-temporal reasoning, accurate computation, and downstream applications. We curate several natural language question-answer tasks for each category and build the benchmark dataset, namely STBench, containing 13 distinct tasks and over 60,000 QA pairs. Moreover, we have assessed the capabilities of 13 LLMs, such as GPT-4o, Gemma and Mistral. Experimental results reveal that existing LLMs show remarkable performance on knowledge comprehension and spatio-temporal reasoning tasks, with potential for further enhancement on other tasks through in-context learning, chain-of-though prompting, and fine-tuning. The code and datasets of STBench are released on https://github.com/LwbXc/STBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進化は、時空間データマイニングの方法論の改革を約束している。 しかしながら、LLMの時空間理解能力を評価するための現在の研究は、ある程度制限され偏りがある。 これらの作業は、最新の言語モデルを組み込むことに失敗するか、あるいは記憶された時空間的知識を評価することのみに焦点を当てる。 このギャップに対処するために,本論文では,LLMの時空間データの能力を,知識理解,時空間推論,正確な計算,下流アプリケーションという4つの異なる次元に分割する。 各カテゴリの自然言語質問応答タスクをキュレートし、ベンチマークデータセットであるSTBenchを構築し、13の異なるタスクと6万以上のQAペアを含む。 さらに, GPT-4o, Gemma, Mistral など 13 個の LLM の性能評価を行った。 実験の結果,既存のLLMは知識理解および時空間推論タスクにおいて顕著な性能を示し,文脈内学習,チェーン・オブ・ザ・プロンプト,微調整など他のタスクをさらに強化する可能性が示唆された。 STBenchのコードとデータセットはhttps://github.com/LwbXc/STBenchで公開されている。

関連論文リスト

• ChronoSense: Exploring Temporal Understanding in Large Language Models with Time Intervals of Events [0.20132569095596248]
  我々はChronoSenseについて紹介する。ChronoSenseは大規模言語モデルの時間的理解を評価するための新しいベンチマークである。 このベンチマークを用いて7つのLLMの性能評価を行い, モデルがアレン関係, 対称関係であっても, 全く異なる扱いをすることを示した。 全体として、モデルの性能の低さは、LLMにおける時間的理解の改善の必要性を強調している。
  論文  参考訳（メタデータ） (2025-01-06T14:27:41Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
  時間的推論は、世界を理解するための大きな言語モデルの基本である。 CoTempQAは4つの時間的シナリオを含むベンチマークである。 実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-13T12:56:21Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Linguistic Intelligence in Large Language Models for Telecommunications [5.06945923921948]
  自然言語処理(NLP)分野において,Large Language Models (LLMs) が大きな進歩を遂げている。 本研究は,電気通信分野におけるLLMの知識と理解能力を評価することを目的とする。 評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-02-24T14:01:07Z)
• Temporal Blind Spots in Large Language Models [20.631107338678234]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。 本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
  論文  参考訳（メタデータ） (2024-01-22T16:20:14Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)
• MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models [17.322480769274062]
  大規模言語モデル(LLM)は、多くの自然言語処理(NLP)タスクにおいてほぼ飽和した性能を示している。 本稿では,LLMの時間的理解と推論能力を評価するために,合計2,853個のサンプルを用いた多感性因子時間QA(MenatQA)を構築した。
  論文  参考訳（メタデータ） (2023-10-08T13:19:52Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。