論文の概要: Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic

• arxiv url: http://arxiv.org/abs/2308.07336v1
• Date: Fri, 11 Aug 2023 13:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 15:30:00.835766
• Title: Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic
• Title（参考訳）: 形式論理に基づく合成コーパスからの導出推論の学習
• Authors: Terufumi Morishita, Gaku Morio, Atsuki Yamaguchi, Yasuhiro Sogawa
• Abstract要約: 本研究では,言語モデル(LM)に対する合成コーパスに基づくアプローチについて検討し,論理的帰納的推論能力を得る。 形式論理理論に基づく推論規則は,多段階的に組み合わせることで,他の推論規則を導出することができる。 提案したコーパスでトレーニングされたLMが$textbfFLD$$textbfF$ormal $textbfL$ogic $textbfD$eductionと名付けられ、より一般化可能な推論能力を取得することを実証的に検証する。
• 参考スコア（独自算出の注目度）: 14.503982715625902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a synthetic corpus-based approach for language models (LMs) to acquire logical deductive reasoning ability. The previous studies generated deduction examples using specific sets of deduction rules. However, these rules were limited or otherwise arbitrary. This can limit the generalizability of acquired deductive reasoning ability. We rethink this and adopt a well-grounded set of deduction rules based on formal logic theory, which can derive any other deduction rules when combined in a multistep way. We empirically verify that LMs trained on the proposed corpora, which we name $\textbf{FLD}$ ($\textbf{F}$ormal $\textbf{L}$ogic $\textbf{D}$eduction), acquire more generalizable deductive reasoning ability. Furthermore, we identify the aspects of deductive reasoning ability on which deduction corpora can enhance LMs and those on which they cannot. Finally, on the basis of these results, we discuss the future directions for applying deduction corpora or other approaches for each aspect. We release the code, data, and models.
• Abstract（参考訳）: 本研究では,言語モデル(LM)に対する合成コーパスに基づくアプローチを用いて,論理的推論能力を得る。 前回の研究では、特定の推論規則を用いて推論例を生成した。 しかし、これらの規則は限定的あるいは任意であった。 これにより、獲得した推論能力の一般化可能性を制限することができる。 我々はこれを再考し、形式論理理論に基づく十分な根拠を持つ推論規則の集合を採用し、多段階の方法で結合すると他の推論規則を導出することができる。 提案するコーポラ上で lms がトレーニングされたことを実証的に検証し、それを $\textbf{fld}$ (\textbf{f}$ormal $\textbf{l}$ogic$\textbf{d}$eduction) と命名し、より一般化可能な推論能力を得る。 さらに, 導出コーパスがLMを増強できる誘引的推論能力の面と,それらが不可能な面を識別する。 最後に,これらの結果に基づき,各側面に対してコーパスの推論や他のアプローチを適用するための今後の方向性について考察する。 コード、データ、モデルをリリースします。

関連論文リスト

• Enhancing Reasoning Capabilities of LLMs via Principled Synthetic Logic Corpus [13.276829763453433]
  大規模言語モデル(LLM)は幅広いタスクを解くことができるが、推論に苦戦している。 本稿では,プログラム生成論理推論サンプルを用いてLLMの推論能力を高めることを目的として,$textbfAdditional Logic Training (ALT)$を提案する。
  論文  参考訳（メタデータ） (2024-11-19T13:31:53Z)
• Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs [99.76347807139615]
  推論には2つの典型型がある: 帰納的推論(deductive reasoning)と帰納的推論(inductive reasoning)。 大規模言語モデル(LLM)の推論能力に関する広範な研究にもかかわらず、ほとんどの研究は帰納的推論と帰納的推論を厳密に区別することができなかった。 LLM推論では、帰納的または帰納的推論という、より大きな課題を引き起こします。
  論文  参考訳（メタデータ） (2024-07-31T18:47:11Z)
• Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities [31.728976421529577]
  包括的なドメイン集合からの抽象的および文脈的論理的問題に対するコントラストについて検討する。 我々は、標準的な命題論理、特に命題推論と帰納論理推論に焦点を当てる。 本実験は,LLMの論理的推論と真の推論能力に関する知見を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-04T21:25:06Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。