論文の概要: Flee the Flaw: Annotating the Underlying Logic of Fallacious Arguments Through Templates and Slot-filling
- arxiv url: http://arxiv.org/abs/2406.12402v1
- Date: Tue, 18 Jun 2024 08:44:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 19:56:37.301694
- Title: Flee the Flaw: Annotating the Underlying Logic of Fallacious Arguments Through Templates and Slot-filling
- Title（参考訳）: Flee the Flaw:テンプレートとスロットフィリングによる誤答の根底にある論理の注釈
- Authors: Irfan Robbani, Paul Reisert, Naoya Inoue, Surawat Pothong, Camélia Guerraoui, Wenzhi Wang, Shoichi Naito, Jungmin Choi, Kentaro Inui,
- Abstract要約: 一般的な非公式な論理的誤字に対して、説明可能なテンプレートを4つ導入する。
LOGICデータセットから抽出した400の誤った議論に対して注釈研究を行う。
我々は、最先端の言語モデルが誤検出テンプレートの発見に苦労していることを発見した。
- 参考スコア（独自算出の注目度）: 15.339084849719223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior research in computational argumentation has mainly focused on scoring the quality of arguments, with less attention on explicating logical errors. In this work, we introduce four sets of explainable templates for common informal logical fallacies designed to explicate a fallacy's implicit logic. Using our templates, we conduct an annotation study on top of 400 fallacious arguments taken from LOGIC dataset and achieve a high agreement score (Krippendorf's alpha of 0.54) and reasonable coverage (0.83). Finally, we conduct an experiment for detecting the structure of fallacies and discover that state-of-the-art language models struggle with detecting fallacy templates (0.47 accuracy). To facilitate research on fallacies, we make our dataset and guidelines publicly available.
- Abstract（参考訳）: 計算的議論における以前の研究は、主に議論の質を評価することに焦点を当てており、論理的誤りの説明にはあまり注意を払わなかった。
そこで本研究では,誤りの暗黙的論理を説明可能な4つのテンプレートを,非公式な論理的誤字に対して導入する。
テンプレートを用いて,LOGICデータセットから抽出した400の誤った議論に対して注釈研究を行い,高い合意スコア(クリッペンドルフの0.54のアルファ)と妥当なカバレッジ(0.83)を達成した。
最後に,誤字検出実験を行い,現在最先端の言語モデルが誤字検出に苦戦していること(0.47精度)を明らかにする。
誤字の研究を容易にするため、データセットとガイドラインを公開しています。
関連論文リスト
- Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z) - NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection [45.28949266878263]
本研究では,自然言語を一階論理に変換することによって,論理的誤りを確実に検出する手法を設計する。
次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論する。
私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
論文 参考訳（メタデータ） (2024-04-18T00:20:48Z) - CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。
PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。
2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
論文 参考訳（メタデータ） (2024-01-10T16:21:18Z) - Large Language Models are Few-Shot Training Example Generators: A Case
Study in Fallacy Recognition [53.952381499149965]
計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
論文 参考訳（メタデータ） (2023-11-16T04:17:47Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z) - How susceptible are LLMs to Logical Fallacies? [5.723715910568911]
論理的誤りに対する大規模言語モデルの堅牢性を評価するための診断ベンチマークであるLOGICOMを提案する。
本稿では,GPT-3.5とGPT-4の性能を評価するために,議論の的となっているトピックを含むデータセットを用いて評価を行う。
以上より, GPT-3.5 と GPT-4 は理屈によって意見の調整が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-08-18T23:07:29Z) - Theme Aspect Argumentation Model for Handling Fallacies [2.3230307339947274]
フォーマルな制約によって誤認識を特徴づける新しい手法を提案する。
フォーマルな制約で誤字を識別することにより、モデル付き修辞学における誤字がフォーマルな厳密さを持つかどうかを判断することができる。
論文 参考訳（メタデータ） (2022-05-30T14:34:09Z) - Logical Fallacy Detection [40.06349885733248]
本稿では,論理的誤り検出の課題を提案し,テキストに一般的に見られる論理的誤りの新たなデータセット(論理)を提供する。
簡単な構造認識型分類器は、Logicでは5.46%、LogicClimateでは4.51%で最高の言語モデルより優れていることを示す。
論文 参考訳（メタデータ） (2022-02-28T13:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。