論文の概要: LTLBench: Towards Benchmarks for Evaluating Temporal Logic Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2407.05434v1
• Date: Sun, 7 Jul 2024 16:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 19:38:04.511640
• Title: LTLBench: Towards Benchmarks for Evaluating Temporal Logic Reasoning in Large Language Models
• Title（参考訳）: LTLBench:大規模言語モデルにおける時間論理推論の評価ベンチマークに向けて
• Authors: Weizhi Tang, Vaishak Belle,
• Abstract要約: 時間的推論(TR)は人工知能の重要な構成要素である。 TR能力の様々な側面を評価するために、様々なデータセットが様々な方法で構築されている。 本研究は,LLMのTR能力を評価するために,データセット構築のためのパイプラインを設計・開発するための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.455744338342196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal reasoning (TR) is a critical component of artificial intelligence, encompassing understanding and processing temporal information and relationships between events. To discover and study the TR ability in Large Language Models (LLMs), various datasets have been constructed in different ways for evaluating various aspects of TR ability. Our work proposes a novel approach to design and develop a pipeline for constructing datasets to evaluate the TR ability of LLMs by leveraging random directed graph generation, LTL formula, and the NuSMV model checker. Based on the pipeline, we have also constructed a dataset as a benchmark, namely LTLBench, consisting of 2,000 TR challenges and evaluated six LLMs with it. Furthermore, we have conducted additional experiments to discover the impact of increasing the number of events and formula operators on the complexity of TR problems and the performance of LLMs. We have demonstrated that although LLMs exhibit some promise in handling TR challenges, they still struggle with complex TR. We expect this work can offer insights into TR ability in LLMs while also providing a valuable tool for future TR evaluations.
• Abstract（参考訳）: 時間的推論(TR)は人工知能の重要な構成要素であり、時間的情報や出来事間の関係を理解し処理する。 大規模言語モデル(LLM)におけるTR能力の発見と研究のために,TR能力のさまざまな側面を評価するために,様々な方法で様々なデータセットが構築されている。 本研究では,ランダム指向グラフ生成,LTL式,およびNuSMVモデルチェッカーを活用することで,LLMのTR能力を評価するためのデータセット構築のためのパイプラインの設計と開発を行う新しい手法を提案する。 パイプラインに基づいて、2000のTR課題からなるベンチマークとしてLTLBenchを構築し、6つのLLMを評価した。 さらに, TR問題の複雑化とLLMの性能に及ぼすイベント数および公式演算子数の増加の影響を明らかにするために, 追加実験を行った。 LLM は TR 問題に対処する上で有望であるが, 複雑な TR に苦しむことが実証されている。 この研究は、将来のTR評価に有用なツールを提供するとともに、LLMにおけるTR能力に関する洞察を提供することができると期待している。

関連論文リスト

• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs! [3.844253028598048]
  LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。 本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-03-10T12:50:35Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Are Large Language Models Table-based Fact-Checkers? [17.636623242137585]
  表ベースのFact Verification (TFV) は、文と構造化テーブルの間の関係を抽出することを目的としている。 大規模モデルに基づく既存のTFV法は、ラベル付きデータ不足とゼロショット能力の弱さに悩まされている。 大規模言語モデル(LLM)は、強力なゼロショットとコンテキスト内学習能力を示している。
  論文  参考訳（メタデータ） (2024-02-04T15:52:59Z)
• Large Language Models Can Learn Temporal Reasoning [11.599570446840547]
  本稿では,言語に基づく時間的推論のための新しいフレームワークTG-LLMを提案する。 元の文脈を推論する代わりに、潜時表現、時間グラフ(TG)を採用する。 合成データセット(TGQA)は完全に制御可能であり、最小限の監督を必要とする。
  論文  参考訳（メタデータ） (2024-01-12T19:00:26Z)
• Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion [24.545917737620197]
  時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。 本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
  論文  参考訳（メタデータ） (2024-01-11T17:42:47Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。