論文の概要: Unlocking Temporal Question Answering for Large Language Models Using Code Execution

• arxiv url: http://arxiv.org/abs/2305.15014v1
• Date: Wed, 24 May 2023 10:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 16:57:51.278557
• Title: Unlocking Temporal Question Answering for Large Language Models Using Code Execution
• Title（参考訳）: コード実行を用いた大規模言語モデルの時間解答解
• Authors: Xingxuan Li, Liying Cheng, Qingyu Tan, Hwee Tou Ng, Shafiq Joty, Lidong Bing
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理(NLP)において大きな進歩を遂げている。 本稿では,LLMの抽出能力とPythonソルバの論理的推論能力を組み合わせた新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.945784849917004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have made significant progress in natural language processing (NLP), and are utilized extensively in various applications. Recent works, such as chain-of-thought (CoT), have shown that intermediate reasoning steps can improve the performance of LLMs for complex reasoning tasks, such as math problems and symbolic question-answering tasks. However, we notice the challenge that LLMs face when it comes to temporal reasoning. Our preliminary experiments show that generating intermediate reasoning steps does not always boost the performance of complex temporal question-answering tasks. Therefore, we propose a novel framework that combines the extraction capability of LLMs and the logical reasoning capability of a Python solver to tackle this issue. Extensive experiments and analysis demonstrate the effectiveness of our framework in handling intricate time-bound reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) は自然言語処理 (NLP) において大きく進歩しており、様々な用途で広く利用されている。 chain-of-thought (cot) のような最近の研究は、中間的推論ステップが数学問題や記号的質問応答タスクのような複雑な推論タスクに対するllmの性能を向上させることを示した。 しかし、時間的推論に関してはLLMが直面する課題に気づく。 予備実験の結果, 中間的推論ステップの生成は, 複雑な時間的質問応答タスクの性能を必ずしも高めるものではないことがわかった。 そこで,本稿では,llmの抽出能力とpythonソルバの論理的推論能力を組み合わせた新しいフレームワークを提案する。 複雑な時間的推論タスクの処理におけるフレームワークの有効性を示す実験と分析を行った。

関連論文リスト

• Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering [23.98067169669452]
  Time-Sensitive Question Answering (TSQA)は、特定の時間的文脈を効果的に活用することを要求する。 本稿では,時間的認知と推論を時間的情報認識の埋め込みとグラニュラコントラスト強化学習を通じて促進する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-25T13:13:21Z)
• Timo: Towards Better Temporal Reasoning for Language Models [38.27548375148604]
  時間に関する推論は、大言語モデルが世界を理解するために不可欠である。 私たちは、様々な時間的推論タスクを扱う普遍的なフレームワークを構築します。 時間的推論を 7B と 13B スケールで最適化するモデルである Timo を開発した。
  論文  参考訳（メタデータ） (2024-06-20T10:52:14Z)
• Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
  時間的推論は、世界を理解するための大きな言語モデルの基本である。 CoTempQAは4つの時間的シナリオを含むベンチマークである。 実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-13T12:56:21Z)
• On the Identification of Temporally Causal Representation with Instantaneous Dependence [50.14432597910128]
  時間的因果表現学習は時系列観測から潜在因果過程を特定することを目的としている。 ほとんどの方法は、潜在因果過程が即時関係を持たないという仮定を必要とする。 我々は,インスタントtextbfOus textbfLatent dynamics のための textbfIDentification フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-24T08:08:05Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)
• DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
  非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。 まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。 我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
  論文  参考訳（メタデータ） (2023-10-28T10:05:51Z)
• Back to the Future: Towards Explainable Temporal Reasoning with Large Language Models [33.8108950744839]
  そこで本稿では,コンテキストに基づいたイベント発生の予測を行うために,時間的推論を記述可能な最初のタスクを紹介する。 本研究では,時間的予測と説明の最先端性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2023-10-02T10:35:23Z)
• An Overview Of Temporal Commonsense Reasoning and Acquisition [20.108317515225504]
  時間的コモンセンス推論(英: Temporal Commonsense reasoning)とは、フレーズ、行動、出来事の典型的な時間的文脈を理解する能力である。 大規模言語モデルの性能に関する最近の研究は、しばしば推論においてショートカットを行い、単純な言語トラップに陥ることが示唆されている。
  論文  参考訳（メタデータ） (2023-07-28T01:30:15Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。