論文の概要: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection
- arxiv url: http://arxiv.org/abs/2405.02318v2
- Date: Mon, 03 Mar 2025 00:38:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-04 16:13:05.059744
- Title: NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection
- Title(参考訳): NL2FOL:論理誤り検出のための自然言語を一階論理に変換する
- Authors: Abhinav Lalwani, Tasha Kim, Lovish Chopra, Christopher Hahn, Zhijing Jin, Mrinmaya Sachan,
- Abstract要約: 自然言語をFOLに自動変換するフレームワークであるNL2FOLについて,Large Language Models (LLMs) を用いて段階的に導入する。
本手法は,暗黙の背景知識の統合など,翻訳プロセスにおける重要な課題に対処する。
ニューロシンボリックなアプローチでは、推論プロセスに対する解釈可能な洞察も提供し、モデル微調整やラベル付きトレーニングデータを必要とせずに堅牢性を示す。
- 参考スコア(独自算出の注目度): 44.31755414036022
- License:
- Abstract: Translating natural language into formal language such as First-Order Logic (FOL) is a foundational challenge in NLP with wide-ranging applications in automated reasoning, misinformation tracking, and knowledge validation. In this paper, we introduce Natural Language to First-Order Logic (NL2FOL), a framework to autoformalize natural language to FOL step by step using Large Language Models (LLMs). Our approach addresses key challenges in this translation process, including the integration of implicit background knowledge. By leveraging structured representations generated by NL2FOL, we use Satisfiability Modulo Theory (SMT) solvers to reason about the logical validity of natural language statements. We present logical fallacy detection as a case study to evaluate the efficacy of NL2FOL. Being neurosymbolic, our approach also provides interpretable insights into the reasoning process and demonstrates robustness without requiring model fine-tuning or labeled training data. Our framework achieves strong performance on multiple datasets. On the LOGIC dataset, NL2FOL achieves an F1-score of 78%, while generalizing effectively to the LOGICCLIMATE dataset with an F1-score of 80%.
- Abstract(参考訳): 自然言語をFOL(First-Order Logic)などの形式言語に翻訳することは、自動推論、誤情報追跡、知識検証などの幅広い応用において、NLPの基本的な課題である。
本稿では,Large Language Models (LLMs) を用いて,自然言語を段階的にFOLに自動変換するフレームワークであるNL2FOLを紹介する。
本手法は,暗黙の背景知識の統合など,翻訳プロセスにおける重要な課題に対処する。
NL2FOLによって生成される構造化表現を利用することで、自然言語文の論理的妥当性を推論するために、Satifiability Modulo Theory (SMT) を用いる。
本症例では,NL2FOLの有効性を評価するために,論理的誤認検出法を提案する。
ニューロシンボリックなアプローチでは、推論プロセスに対する解釈可能な洞察も提供し、モデル微調整やラベル付きトレーニングデータを必要とせずに堅牢性を示す。
当社のフレームワークは,複数のデータセット上で高いパフォーマンスを実現している。
LOGICデータセットでは、NL2FOLはF1スコアの78%を達成すると同時に、F1スコアの80%でLOGICCLIMATEデータセットに効果的に一般化する。
関連論文リスト
- A Logical Fallacy-Informed Framework for Argument Generation [34.35377699079075]
FIPOは、大規模言語モデルを論理的に健全な議論に導いてくれる、誤用インフォームドフレームワークである。
議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。
私たちのコードは alucamouchel.com/lucamouchel/Logical-Fallacies で利用可能です。
論文 参考訳(メタデータ) (2024-08-07T08:19:44Z) - Automated Theorem Provers Help Improve Large Language Model Reasoning [0.18416014644193066]
ニューロシンボリック・アーキテクチャーによっていかに精度が向上できるかを示す。
構文的および意味的エラーカテゴリのフレームワークを定義する。
我々は,構文的および意味的誤りを自動的に修正する機能を備えた手法を拡張した。
論文 参考訳(メタデータ) (2024-08-07T01:03:56Z) - LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。
提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。
GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文 参考訳(メタデータ) (2024-01-01T13:53:53Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - On the Paradox of Learning to Reason from Data [86.13662838603761]
BERTは,同じ問題空間上での他のデータ分布への一般化に失敗しながら,分布内テスト例に対してほぼ完全な精度が得られることを示す。
このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
論文 参考訳(メタデータ) (2022-05-23T17:56:48Z) - Logical Fallacy Detection [40.06349885733248]
本稿では,論理的誤り検出の課題を提案し,テキストに一般的に見られる論理的誤りの新たなデータセット(論理)を提供する。
簡単な構造認識型分類器は、Logicでは5.46%、LogicClimateでは4.51%で最高の言語モデルより優れていることを示す。
論文 参考訳(メタデータ) (2022-02-28T13:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。