論文の概要: Large Language Models Can Learn Temporal Reasoning

• arxiv url: http://arxiv.org/abs/2401.06853v1
• Date: Fri, 12 Jan 2024 19:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 21:10:56.637145
• Title: Large Language Models Can Learn Temporal Reasoning
• Title（参考訳）: 大きな言語モデルは時間的推論を学べる
• Authors: Siheng Xiong, Ali Payani, Ramana Kompella, Faramarz Fekri
• Abstract要約: 本研究では,テキストに基づく時間的推論のための新しいパラダイムであるTempGraph-LLMを提案する。 このタスクの事前トレーニングのために、合成データセットを構築する。 思考の連鎖(CoTs)のブートストラップと特別なデータ拡張の戦略を用いて,LLMの象徴的推論を行うよう指導する。
• 参考スコア（独自算出の注目度）: 12.671697405714076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) learn temporal concepts from the co-occurrence of related tokens in a sequence. Compared with conventional text generation, temporal reasoning, which reaches a conclusion based on mathematical, logical and commonsense knowledge, is more challenging. In this paper, we propose TempGraph-LLM, a new paradigm towards text-based temporal reasoning. To be specific, we first teach LLMs to translate the context into a temporal graph. A synthetic dataset, which is fully controllable and requires minimal supervision, is constructed for pre-training on this task. We prove in experiments that LLMs benefit from the pre-training on other tasks. On top of that, we guide LLMs to perform symbolic reasoning with the strategies of Chain of Thoughts (CoTs) bootstrapping and special data augmentation. We observe that CoTs with symbolic reasoning bring more consistent and reliable results than those using free text.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、関連するトークンの同時発生から時系列の概念を学ぶ。 従来のテキスト生成と比較して、数学的、論理的、常識的な知識に基づいて結論に達する時間的推論はより困難である。 本稿では,テキストに基づく時間的推論の新しいパラダイムであるTempGraph-LLMを提案する。 具体的には、まずLLMにコンテキストを時間グラフに変換するように教える。 完全に制御可能で、最小限の監視を必要とする合成データセットは、このタスクの事前トレーニングのために構築されている。 実験では、LLMが他のタスクの事前学習の恩恵を受けることを示す。 それに加えて、我々は、思考の連鎖(CoT)のブートストラップと特別なデータ拡張の戦略を用いて、LLMの象徴的推論を行うよう誘導する。 記号的推論を持つCoTは、自由テキストよりも一貫性があり、信頼性の高い結果をもたらす。

関連論文リスト

• Temporally Consistent Factuality Probing for Large Language Models [16.177991267568125]
  本稿では, 時間的に一貫性のある課題であるTeCFaPを紹介する。 既存のメトリクスの定義を拡張して、時間次元にわたって一貫した事実性を表現します。 次に,マルチタスク・インストラクション・チューニング(MT-IT)と一貫した時間依存性強化学習(CTSRL)を組み合わせた新しいソリューションCoTSeLFを提案する。
  論文  参考訳（メタデータ） (2024-09-21T08:41:08Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• LTLBench: Towards Benchmarks for Evaluating Temporal Logic Reasoning in Large Language Models [5.455744338342196]
  時間的推論(TR)は人工知能の重要な構成要素である。 TR能力の様々な側面を評価するために、様々なデータセットが様々な方法で構築されている。 本研究は,LLMのTR能力を評価するために,データセット構築のためのパイプラインを設計・開発するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-07T16:37:06Z)
• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [11.385103498440932]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• TRAM: Benchmarking Temporal Reasoning for Large Language Models [12.112914393948415]
  10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。 GPT-4やLlama2のような一般的な言語モデルをゼロショットや少数ショットのシナリオで評価する。 以上の結果から,最も優れたモデルラグは人的パフォーマンスに大きく遅れていることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T00:59:07Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。