論文の概要: Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments

• arxiv url: http://arxiv.org/abs/2212.07425v1
• Date: Mon, 12 Dec 2022 20:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 15:48:02.859598
• Title: Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments
• Title（参考訳）: 自然言語処理における論理的誤りのロバストかつ説明可能な同定
• Authors: Zhivar Sourati, Vishnu Priya Prasanna Venkatesh, Darshan Deshpande, Himanshu Rawlani, Filip Ilievski, H\^ong-\^An Sandlin, Alain Mermoud
• Abstract要約: 論理的誤りに関する先行理論を総合的な3段階評価フレームワークに定式化する。 我々は,プロトタイプ推論,インスタンスベースの推論,知識注入に基づく,堅牢で説明可能な3つの手法のファミリーを考案する。 我々はこれらの手法をデータセット上で広範囲に評価し、その堅牢性と説明可能性に焦点を当てた。
• 参考スコア（独自算出の注目度）: 2.8198608687777136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spread of misinformation, propaganda, and flawed argumentation has been amplified in the Internet era. Given the volume of data and the subtlety of identifying violations of argumentation norms, supporting information analytics tasks, like content moderation, with trustworthy methods that can identify logical fallacies is essential. In this paper, we formalize prior theoretical work on logical fallacies into a comprehensive three-stage evaluation framework of detection, coarse-grained, and fine-grained classification. We adapt existing evaluation datasets for each stage of the evaluation. We devise three families of robust and explainable methods based on prototype reasoning, instance-based reasoning, and knowledge injection. The methods are designed to combine language models with background knowledge and explainable mechanisms. Moreover, we address data sparsity with strategies for data augmentation and curriculum learning. Our three-stage framework natively consolidates prior datasets and methods from existing tasks, like propaganda detection, serving as an overarching evaluation testbed. We extensively evaluate these methods on our datasets, focusing on their robustness and explainability. Our results provide insight into the strengths and weaknesses of the methods on different components and fallacy classes, indicating that fallacy identification is a challenging task that may require specialized forms of reasoning to capture various classes. We share our open-source code and data on GitHub to support further work on logical fallacy identification.
• Abstract（参考訳）: 偽情報、プロパガンダ、欠陥のある議論の拡散はインターネット時代に増幅されている。 データの量と議論規範の違反を識別する微妙さを考えると、コンテンツモデレーションのような情報分析タスクをサポートし、論理的誤りを識別する信頼できる方法が不可欠である。 本稿では,従来の論理的誤りに関する理論的研究を,検出,粗粒度,きめ細かい分類の総合的な3段階評価フレームワークに定式化する。 既存の評価データセットを評価の各段階に適用する。 プロトタイプ推論,インスタンスベース推論,知識注入に基づくロバストで説明可能な3つの手法を考案した。 この手法は言語モデルと背景知識と説明可能なメカニズムを組み合わせるために設計されている。 さらに,データ拡張とカリキュラム学習の戦略により,データの分散性に対処する。 当社の3段階フレームワークは,プロパガンダ検出などの既存のタスクから,事前データセットとメソッドをネイティブに統合し,総合的な評価テストベッドとして機能します。 これらの手法をデータセット上で広範囲に評価し,堅牢性と説明可能性に注目した。 本研究は,異なる構成要素と誤認クラスにおける手法の強みと弱みについて考察し,誤認同定は様々なクラスを捉えるのに特別な推論を必要とする困難な課題であることを示す。 私たちはオープンソースコードとデータをgithubで共有し、論理的な誤った識別に関するさらなる作業を支援しています。

関連論文リスト

• EventGround: Narrative Reasoning by Grounding to Eventuality-centric Knowledge Graphs [41.928535719157054]
  本研究では,事象中心の知識グラフに自由文を接地する問題に対処するため,EventGroundと呼ばれる初期包括的フレームワークを提案する。 これらの問題に対処するために、単純で効果的な解析と部分的な情報抽出方法を提案する。 基礎知識を取り入れた我々の枠組みは、解釈可能な証拠を提供しながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-30T01:16:37Z)
• Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
  実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。 このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。 データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
  論文  参考訳（メタデータ） (2024-02-27T16:15:03Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• Multitask Instruction-based Prompting for Fallacy Recognition [35.10919984256853]
  ドメインやジャンルにまたがる28のユニークな誤認識をマルチタスクで認識する能力を示す。 また, モデルサイズと選択の促進効果について, クラスごとの結果(すなわち, 誤り型)を分析して検討した。
  論文  参考訳（メタデータ） (2023-01-24T13:39:23Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
  テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。 2つの新しい戦略が我々の手法の必須要素である。
  論文  参考訳（メタデータ） (2022-03-01T11:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。