論文の概要: RobustLR: Evaluating Robustness to Logical Perturbation in Deductive
Reasoning
- arxiv url: http://arxiv.org/abs/2205.12598v1
- Date: Wed, 25 May 2022 09:23:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 05:11:47.709725
- Title: RobustLR: Evaluating Robustness to Logical Perturbation in Deductive
Reasoning
- Title(参考訳): RobustLR:推論における論理的摂動に対するロバスト性の評価
- Authors: Soumya Sanyal, Zeyi Liao, Xiang Ren
- Abstract要約: トランスフォーマーは、英語の自然言語で書かれた規則や文を含む論理ルールベースで演能的推論を実行できることが示されている。
本稿では,ルールベースにおける最小論理編集に対して,これらのモデルのロバスト性を評価するためにロバストLRを提案する。
先行研究で訓練されたモデルは、ロバストLRの異なる摂動に対して一貫して動作しないことがわかった。
- 参考スコア(独自算出の注目度): 25.319674132967553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have been shown to be able to perform deductive reasoning on a
logical rulebase containing rules and statements written in English natural
language. While the progress is promising, it is currently unclear if these
models indeed perform logical reasoning by understanding the underlying logical
semantics in the language. To this end, we propose RobustLR, a suite of
evaluation datasets that evaluate the robustness of these models to minimal
logical edits in rulebases and some standard logical equivalence conditions. In
our experiments with RoBERTa and T5, we find that the models trained in prior
works do not perform consistently on the different perturbations in RobustLR,
thus showing that the models are not robust to the proposed logical
perturbations. Further, we find that the models find it especially hard to
learn logical negation and disjunction operators. Overall, using our evaluation
sets, we demonstrate some shortcomings of the deductive reasoning-based
language models, which can eventually help towards designing better models for
logical reasoning over natural language.
- Abstract(参考訳): トランスフォーマーは、英語の自然言語で書かれた規則や文を含む論理的ルールベースで推論を行うことができる。
進歩は有望であるが、これらのモデルが言語の基本となる論理的意味論を理解することによって論理的推論を行うかどうかは現在不明である。
そこで本研究では,これらのモデルのロバスト性を評価し,ルールベースと標準論理同値条件における論理編集を最小化するための評価データセットであるロバストlrを提案する。
RoBERTa と T5 を用いて行った実験では、先行研究で訓練されたモデルはロバストLR の異なる摂動に対して一貫した性能が得られず、提案した論理摂動に対してモデルが堅牢でないことを示す。
さらに、モデルが特に論理否定や解離作用素の学習が困難であることが分かる。
総合的に評価セットを用いて、帰納的推論に基づく言語モデルの欠点をいくつか示し、最終的には自然言語に対する論理的推論のためのより良いモデルの設計に役立てることができる。
関連論文リスト
- Reasoning over Description Logic-based Contexts with Transformers [3.17062385457524]
我々は、記述論理知識ベースから生成される合成自然言語質問回答データセットを構築した。
知識ベースの生成には、表現力のある言語$mathcalALCQ$を使用します。
DELTA$_M$のDeBERTaモデルの性能は、推論深度が大きくなると影響を受けなくなり、文の長さが大きくなると全く影響しないことを示す。
論文 参考訳(メタデータ) (2023-11-15T13:23:24Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。
この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文 参考訳(メタデータ) (2023-10-09T06:54:02Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳(メタデータ) (2022-10-22T16:01:13Z) - LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。
人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。
LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
論文 参考訳(メタデータ) (2022-05-18T08:46:49Z) - Logically Consistent Adversarial Attacks for Soft Theorem Provers [110.17147570572939]
本稿では,言語モデルの推論能力の探索と改善のための生成的逆説フレームワークを提案する。
我々のフレームワークは、敵の攻撃をうまく発生させ、グローバルな弱点を識別する。
有効探索に加えて, 生成したサンプルのトレーニングにより, 対象モデルの性能が向上することを示す。
論文 参考訳(メタデータ) (2022-04-29T19:10:12Z) - FaiRR: Faithful and Robust Deductive Reasoning over Natural Language [25.319674132967553]
規則選択、事実選択、知識構成という3つのモジュラーコンポーネントを定義することで、帰納的論理的推論タスクをフレーム化する。
我々は、FaiRRが新しい言語の摂動に対して堅牢であり、既存の推論データセットの以前の研究よりも推論が速いことを観察した。
論文 参考訳(メタデータ) (2022-03-19T07:18:13Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳(メタデータ) (2021-12-06T19:38:30Z) - Flexible Operations for Natural Language Deduction [32.92866195461153]
ParaPatternは、人間の直接の監督なしに様々な自然言語入力の論理変換を生成するモデルを構築する方法である。
我々は、BARTベースのモデルを用いて、特定の論理演算を1つ以上の前提文に適用した結果を生成する。
対象とするコントラストセットと、qascデータセットからのドメイン外文合成を用いてモデルを評価する。
論文 参考訳(メタデータ) (2021-04-18T11:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。