論文の概要: Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic
- arxiv url: http://arxiv.org/abs/2308.07336v3
- Date: Tue, 14 Nov 2023 03:14:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 18:23:31.180936
- Title: Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic
- Title(参考訳): 形式論理に基づく合成コーパスからの導出推論の学習
- Authors: Terufumi Morishita, Gaku Morio, Atsuki Yamaguchi, Yasuhiro Sogawa
- Abstract要約: 本研究では,言語モデル(LM)に対する合成コーパスに基づくアプローチについて検討し,論理的帰納的推論能力を得る。
形式論理理論に基づく推論規則は,多段階的に組み合わせることで,他の推論規則を導出することができる。
我々は、FLDコーパスで訓練されたLMがより一般化可能な推論能力を取得することを実証的に検証した。
- 参考スコア(独自算出の注目度): 14.503982715625902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study a synthetic corpus based approach for language models (LMs) to
acquire logical deductive reasoning ability. The previous studies generated
deduction examples using specific sets of deduction rules. However, these rules
were limited or otherwise arbitrary, limiting the generalizability of acquired
reasoning ability. We rethink this and adopt a well-grounded set of deduction
rules based on formal logic theory, which can derive any other deduction rules
when combined in a multistep way. Then, using the proposed corpora, which we
name FLD (Formal Logic Deduction), we first evaluate and analyze the logical
reasoning ability of the latest LLMs. Even GPT-4 can solve only half of the
problems, suggesting that pure logical reasoning isolated from knowledge is
still challenging for the LLMs, and additional training specialized in logical
reasoning is indeed essential. We next empirically verify that LMs trained on
FLD corpora acquire more generalizable reasoning ability. Furthermore, we
identify the aspects of reasoning ability on which deduction corpora can
enhance LMs and those on which they cannot, and discuss future directions on
each aspect. The released corpora serve both as learning resources and as
challenging benchmarks.
- Abstract(参考訳): 言語モデルのための合成コーパスベースアプローチ(lms)による論理推論能力の獲得について検討した。
前回の研究では、特定の推論規則を用いて推論例を生成した。
しかし、これらの規則は限定的あるいは任意のものであり、獲得した推論能力の一般化性を制限する。
我々はこれを再考し、形式論理理論に基づく十分な根拠を持つ推論規則の集合を採用し、多段階の方法で結合すると他の推論規則を導出することができる。
次に、FLD(Formal Logic Deduction)と呼ばれる提案したコーパスを用いて、最新のLCMの論理的推論能力を評価し、解析する。
GPT-4でさえ、知識から分離された純粋論理的推論はLLMにとって依然として困難であり、論理的推論に特化した追加の訓練は確かに不可欠である。
次に、fldコーパスで訓練されたlmsがより一般化可能な推論能力を得ることを実証的に検証する。
さらに,推論能力の面において,推論コーパスがlmsを向上できるか,できないかを明らかにするとともに,各側面の今後の方向性について考察する。
リリースされたコーパスは、学習リソースと挑戦的なベンチマークの両方を提供する。
関連論文リスト
- Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and
Improving LLMs [95.41575344721691]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。
しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。
本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:38:51Z) - Enhancing Logical Reasoning in Large Language Models to Facilitate Legal
Applications [4.062485135201161]
大規模言語モデル(LLM)は人間の言語理解と生成をエミュレートしようとするが、論理的推論におけるその能力は限られている。
LLMに論理的推論を効果的に教えるにはどうすればよいのか?
論理的推論におけるLLMの能力の強化に焦点をあてて、法やその他の論理的な分野における適用性の拡大を目指す。
論文 参考訳(メタデータ) (2023-11-22T01:51:50Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study
on Syllogism [19.590120229602103]
大規模言語モデル(LLM)は、ステップバイステップの推論命令、例えばチェーン・オブ・シント(CoT)プロンプトを利用する。
本研究では, 否定に着目したLCMのステップバイステップ推論能力について検討する。
論文 参考訳(メタデータ) (2023-10-23T12:40:41Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of
Language Models with Hypothesis Refinement [95.10400704620797]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳(メタデータ) (2021-12-06T19:38:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。