論文の概要: Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study
on Out-of-Distribution Generalisation
- arxiv url: http://arxiv.org/abs/2207.14000v1
- Date: Thu, 28 Jul 2022 10:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-29 11:51:28.897796
- Title: Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study
on Out-of-Distribution Generalisation
- Title(参考訳): 自然言語による多段階推論--分布の一般化に関する実証的研究
- Authors: Qiming Bao, Alex Yuxuan Peng, Tim Hartill, Neset Tan, Zhenyun Deng,
Michael Witbrock, Jiamou Liu
- Abstract要約: 自然言語で表現された多段階推論のための反復型ニューラルネットワークであるIMA-GloVe-GAを紹介する。
本モデルでは,ゲートアテンション機構を備えたRNNに基づく反復型メモリニューラルネットワークを用いて推論を行う。
- 参考スコア(独自算出の注目度): 6.573595141348657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Combining deep learning with symbolic logic reasoning aims to capitalize on
the success of both fields and is drawing increasing attention. Inspired by
DeepLogic, an end-to-end model trained to perform inference on logic programs,
we introduce IMA-GloVe-GA, an iterative neural inference network for multi-step
reasoning expressed in natural language. In our model, reasoning is performed
using an iterative memory neural network based on RNN with a gate attention
mechanism. We evaluate IMA-GloVe-GA on three datasets: PARARULES, CONCEPTRULES
V1 and CONCEPTRULES V2. Experimental results show DeepLogic with gate attention
can achieve higher test accuracy than DeepLogic and other RNN baseline models.
Our model achieves better out-of-distribution generalisation than RoBERTa-Large
when the rules have been shuffled. Furthermore, to address the issue of
unbalanced distribution of reasoning depths in the current multi-step reasoning
datasets, we develop PARARULE-Plus, a large dataset with more examples that
require deeper reasoning steps. Experimental results show that the addition of
PARARULE-Plus can increase the model's performance on examples requiring deeper
reasoning depths. The source code and data are available at
https://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Language.
- Abstract(参考訳): 深層学習と記号論理推論を組み合わせることは、両方の分野の成功に乗じることを目的としており、注目を集めている。
論理プログラム上で推論を行うようにトレーニングされたエンドツーエンドモデルであるdeeplogicに着想を得て,自然言語で表現された多段階推論のための反復的ニューラルネットワークであるima-glove-gaを導入した。
本モデルでは,ゲートアテンション機構を備えたRNNに基づく反復型メモリニューラルネットワークを用いて推論を行う。
IMA-GloVe-GAを3つのデータセット(PARARULES, CONCEPTRULES V1, CONCEPTRULES V2)で評価した。
実験の結果,deeplogic は deeplogic や他の rnn ベースラインモデルよりも高いテスト精度を達成できることがわかった。
このモデルでは,ルールがシャッフルされた場合,RoBERTa-Largeよりも分布外一般化が優れている。
さらに,現在の多段階推論データセットにおける推論深度の不均衡分布問題に対処するために,より深い推論ステップを必要とする大規模データセットであるpararule-plusを開発した。
実験結果から,PARARULE-Plusの追加により,より深い推論深度を必要とする例において,モデルの性能が向上することが示された。
ソースコードとデータはhttps://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Languageで公開されている。
関連論文リスト
- Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z) - DeepSeer: Interactive RNN Explanation and Debugging via State
Abstraction [10.110976560799612]
リカレントニューラルネットワーク(RNN)は自然言語処理(NLP)タスクで広く使われている。
DeepSeerは、RNNの振る舞いのグローバルとローカルの両方の説明を提供するインタラクティブシステムである。
論文 参考訳(メタデータ) (2023-03-02T21:08:17Z) - CARE: Certifiably Robust Learning with Reasoning via Variational
Inference [26.210129662748862]
推論パイプライン(CARE)を用いた頑健な学習を提案する。
CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。
さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
論文 参考訳(メタデータ) (2022-09-12T07:15:52Z) - LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。
人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。
LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
論文 参考訳(メタデータ) (2022-05-18T08:46:49Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳(メタデータ) (2021-12-06T19:38:30Z) - Software for Dataset-wide XAI: From Local Explanations to Global
Insights with Zennit, CoRelAy, and ViRelAy [14.513962521609233]
Zennit、CoRelAy、ViRelAyを導入し、帰属的アプローチなどを用いたモデル推論について検討する。
Zennitは、PyTorchでLRPと関連するアプローチを実装する、高度にカスタマイズ可能で直感的な属性フレームワークである。
CoRelAyは、データセット全体の説明分析のための定量的分析パイプラインを簡単かつ迅速に構築するフレームワークである。
ViRelAyは、データ、属性、分析結果をインタラクティブに探索するWebアプリケーションである。
論文 参考訳(メタデータ) (2021-06-24T17:27:22Z) - Neural Logic Reasoning [47.622957656745356]
本稿では,ディープラーニングと論理推論の能力を統合するために,論理統合ニューラルネットワーク(LINN)を提案する。
LINNは、神経モジュールとしてAND、OR、NOTなどの基本的な論理操作を学び、推論のためにネットワークを通して命題論理推論を行う。
実験の結果、LINNはTop-Kレコメンデーションにおいて最先端のレコメンデーションモデルを大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2020-08-20T14:53:23Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳(メタデータ) (2020-03-14T05:45:55Z) - Relational Neural Machines [19.569025323453257]
本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。
ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。
適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
論文 参考訳(メタデータ) (2020-02-06T10:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。