論文の概要: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection

• arxiv url: http://arxiv.org/abs/2405.02318v1
• Date: Thu, 18 Apr 2024 00:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-12 16:00:17.716928
• Title: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection
• Title（参考訳）: NL2FOL:論理誤り検出のための自然言語を一階論理に変換する
• Authors: Abhinav Lalwani, Lovish Chopra, Christopher Hahn, Caroline Trippel, Zhijing Jin, Mrinmaya Sachan,
• Abstract要約: 本研究では,自然言語を一階論理に変換することによって,論理的誤りを確実に検出する手法を設計する。 次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論する。 私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
• 参考スコア（独自算出の注目度）: 45.28949266878263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical fallacies are common errors in reasoning that undermine the logic of an argument. Automatically detecting logical fallacies has important applications in tracking misinformation and validating claims. In this paper, we design a process to reliably detect logical fallacies by translating natural language to First-order Logic (FOL) step-by-step using Large Language Models (LLMs). We then utilize Satisfiability Modulo Theory (SMT) solvers to reason about the validity of the formula and classify inputs as either a fallacy or valid statement. Our model also provides a novel means of utilizing LLMs to interpret the output of the SMT solver, offering insights into the counter-examples that illustrate why a given sentence is considered a logical fallacy. Our approach is robust, interpretable and does not require training data or fine-tuning. We evaluate our model on a mixed dataset of fallacies and valid sentences. The results demonstrate improved performance compared to end-to-end LLMs, with our classifier achieving an F1-score of 71\% on the Logic dataset. The approach is able to generalize effectively, achieving an F1-score of 73% on the challenge set, LogicClimate, outperforming state-of-the-art models by 21% despite its much smaller size.
• Abstract（参考訳）: 論理的誤算は、議論の論理を損なう推論における一般的な誤りである。 論理的誤認を自動的に検出することは、誤報の追跡やクレームの検証に重要な応用となる。 本稿では,Large Language Models (LLMs) を用いて,自然言語を一階述語論理(FOL)に変換することで,論理的誤りを確実に検出する手法を設計する。 次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論し、入力を誤りまたは妥当な文として分類する。 また,本モデルでは,LLMを用いてSMTソルバの出力を解釈し,ある文がなぜ論理的誤りと考えられるのかを示す反例の洞察を提供する。 私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。 誤字と有効な文の混合データセットを用いて,本モデルの評価を行った。 その結果,論理データセット上でのF1スコアの71 %を達成することで,エンドツーエンドの LLM と比較して性能が向上した。 アプローチは効果的に一般化することができ、挑戦セットであるLogicClimateで73%のF1スコアを達成することができる。

関連論文リスト

• A Logical Fallacy-Informed Framework for Argument Generation [34.35377699079075]
  FIPOは、大規模言語モデルを論理的に健全な議論に導いてくれる、誤用インフォームドフレームワークである。 議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。 私たちのコードは alucamouchel.com/lucamouchel/Logical-Fallacies で利用可能です。
  論文  参考訳（メタデータ） (2024-08-07T08:19:44Z)
• Automated Theorem Provers Help Improve Large Language Model Reasoning [0.18416014644193066]
  ニューロシンボリック・アーキテクチャーによっていかに精度が向上できるかを示す。 構文的および意味的エラーカテゴリのフレームワークを定義する。 我々は,構文的および意味的誤りを自動的に修正する機能を備えた手法を拡張した。
  論文  参考訳（メタデータ） (2024-08-07T01:03:56Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• On the Paradox of Learning to Reason from Data [86.13662838603761]
  BERTは,同じ問題空間上での他のデータ分布への一般化に失敗しながら,分布内テスト例に対してほぼ完全な精度が得られることを示す。 このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
  論文  参考訳（メタデータ） (2022-05-23T17:56:48Z)
• Logical Fallacy Detection [40.06349885733248]
  本稿では,論理的誤り検出の課題を提案し,テキストに一般的に見られる論理的誤りの新たなデータセット(論理)を提供する。 簡単な構造認識型分類器は、Logicでは5.46%、LogicClimateでは4.51%で最高の言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。