論文の概要: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection
- arxiv url: http://arxiv.org/abs/2405.02318v1
- Date: Thu, 18 Apr 2024 00:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-12 16:00:17.716928
- Title: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection
- Title(参考訳): NL2FOL:論理誤り検出のための自然言語を一階論理に変換する
- Authors: Abhinav Lalwani, Lovish Chopra, Christopher Hahn, Caroline Trippel, Zhijing Jin, Mrinmaya Sachan,
- Abstract要約: 本研究では,自然言語を一階論理に変換することによって,論理的誤りを確実に検出する手法を設計する。
次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論する。
私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
- 参考スコア(独自算出の注目度): 45.28949266878263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Logical fallacies are common errors in reasoning that undermine the logic of an argument. Automatically detecting logical fallacies has important applications in tracking misinformation and validating claims. In this paper, we design a process to reliably detect logical fallacies by translating natural language to First-order Logic (FOL) step-by-step using Large Language Models (LLMs). We then utilize Satisfiability Modulo Theory (SMT) solvers to reason about the validity of the formula and classify inputs as either a fallacy or valid statement. Our model also provides a novel means of utilizing LLMs to interpret the output of the SMT solver, offering insights into the counter-examples that illustrate why a given sentence is considered a logical fallacy. Our approach is robust, interpretable and does not require training data or fine-tuning. We evaluate our model on a mixed dataset of fallacies and valid sentences. The results demonstrate improved performance compared to end-to-end LLMs, with our classifier achieving an F1-score of 71\% on the Logic dataset. The approach is able to generalize effectively, achieving an F1-score of 73% on the challenge set, LogicClimate, outperforming state-of-the-art models by 21% despite its much smaller size.
- Abstract(参考訳): 論理的誤算は、議論の論理を損なう推論における一般的な誤りである。
論理的誤認を自動的に検出することは、誤報の追跡やクレームの検証に重要な応用となる。
本稿では,Large Language Models (LLMs) を用いて,自然言語を一階述語論理(FOL)に変換することで,論理的誤りを確実に検出する手法を設計する。
次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論し、入力を誤りまたは妥当な文として分類する。
また,本モデルでは,LLMを用いてSMTソルバの出力を解釈し,ある文がなぜ論理的誤りと考えられるのかを示す反例の洞察を提供する。
私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
誤字と有効な文の混合データセットを用いて,本モデルの評価を行った。
その結果,論理データセット上でのF1スコアの71 %を達成することで,エンドツーエンドの LLM と比較して性能が向上した。
アプローチは効果的に一般化することができ、挑戦セットであるLogicClimateで73%のF1スコアを達成することができる。
関連論文リスト
- LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳(メタデータ) (2024-04-23T21:08:49Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - RobustLR: Evaluating Robustness to Logical Perturbation in Deductive
Reasoning [25.319674132967553]
トランスフォーマーは、英語の自然言語で書かれた規則や文を含む論理ルールベースで演能的推論を実行できることが示されている。
本稿では,ルールベースにおける最小論理編集に対して,これらのモデルのロバスト性を評価するためにロバストLRを提案する。
先行研究で訓練されたモデルは、ロバストLRの異なる摂動に対して一貫して動作しないことがわかった。
論文 参考訳(メタデータ) (2022-05-25T09:23:50Z) - On the Paradox of Learning to Reason from Data [86.13662838603761]
BERTは,同じ問題空間上での他のデータ分布への一般化に失敗しながら,分布内テスト例に対してほぼ完全な精度が得られることを示す。
このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
論文 参考訳(メタデータ) (2022-05-23T17:56:48Z) - Logical Fallacy Detection [40.06349885733248]
本稿では,論理的誤り検出の課題を提案し,テキストに一般的に見られる論理的誤りの新たなデータセット(論理)を提供する。
簡単な構造認識型分類器は、Logicでは5.46%、LogicClimateでは4.51%で最高の言語モデルより優れていることを示す。
論文 参考訳(メタデータ) (2022-02-28T13:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。