論文の概要: Case-Based Reasoning with Language Models for Classification of Logical Fallacies

• arxiv url: http://arxiv.org/abs/2301.11879v2
• Date: Wed, 17 May 2023 20:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 20:12:23.635104
• Title: Case-Based Reasoning with Language Models for Classification of Logical Fallacies
• Title（参考訳）: 論理的誤りの分類のための言語モデルを用いたケースベース推論
• Authors: Zhivar Sourati, Filip Ilievski, H\^ong-\^An Sandlin, Alain Mermoud
• Abstract要約: 本稿では,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。 本実験は,ケースベース推論が言語モデルの精度と一般化性を向上させることを示唆している。
• 参考スコア（独自算出の注目度）: 3.511369967593153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ease and speed of spreading misinformation and propaganda on the Web motivate the need to develop trustworthy technology for detecting fallacies in natural language arguments. However, state-of-the-art language modeling methods exhibit a lack of robustness on tasks like logical fallacy classification that require complex reasoning. In this paper, we propose a Case-Based Reasoning method that classifies new cases of logical fallacy by language-modeling-driven retrieval and adaptation of historical cases. We design four complementary strategies to enrich input representation for our model, based on external information about goals, explanations, counterarguments, and argument structure. Our experiments in in-domain and out-of-domain settings indicate that Case-Based Reasoning improves the accuracy and generalizability of language models. Our ablation studies suggest that representations of similar cases have a strong impact on the model performance, that models perform well with fewer retrieved cases, and that the size of the case database has a negligible effect on the performance. Finally, we dive deeper into the relationship between the properties of the retrieved cases and the model performance.
• Abstract（参考訳）: web上で誤った情報やプロパガンダを広めることの容易さとスピードは、自然言語議論の誤用を検出するための信頼できる技術を開発する必要性を動機付けている。 しかし、最先端の言語モデリング手法は、複雑な推論を必要とする論理的誤り分類のようなタスクに対する堅牢性の欠如を示している。 本稿では,言語モデルによる検索と過去の事例の適応により,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。 我々は,目的,説明,反論,議論構造に関する外部情報に基づいて,モデルに対する入力表現を強化するための4つの補完的戦略を設計する。 ドメイン内およびドメイン外設定の実験は、ケースベース推論が言語モデルの精度と一般化性を向上させることを示す。 我々のアブレーション研究では,類似事例の表現がモデル性能に強い影響を与え,モデルがより少ないケースで良好に動作し,ケースデータベースのサイズが性能に悪影響を及ぼすことが示唆された。 最後に,検索した事例の特性とモデル性能との関係について詳しく検討する。

関連論文リスト

• Reasoning Elicitation in Language Models via Counterfactual Feedback [17.908819732623716]
  事実と反事実の質問において精度のバランスをとる新しい指標を導出する。 本稿では,より優れた推論機構を実現するための微調整手法を提案する。 各種現実シナリオにおける微調整言語モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T15:33:30Z)
• On the Tip of the Tongue: Analyzing Conceptual Representation in Large Language Models with Reverse-Dictionary Probe [36.65834065044746]
  我々は、言語記述に暗示される対象概念の用語を生成するために、文脈内学習を用いてモデルを誘導する。 実験結果から,逆ディファレンシャルタスクによって探索された概念推論能力は,モデルの一般的な推論性能を予測することが示唆された。
  論文  参考訳（メタデータ） (2024-02-22T09:45:26Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Estimating the Causal Effects of Natural Logic Features in Neural NLI Models [2.363388546004777]
  我々は、広く使われているモデルにおいて、体系的な推論失敗を特定し、定量化するのに十分な構造と規則性を持った推論の特定のパターンに着目する。 文脈介入の効果を測定するために因果効果推定手法を適用した。 異なる設定におけるNLPモデルの因果解析に関する関連する研究に続いて、NLIタスクの方法論を適用して比較モデルプロファイルを構築する。
  論文  参考訳（メタデータ） (2023-05-15T12:01:09Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。