論文の概要: Multitask Instruction-based Prompting for Fallacy Recognition
- arxiv url: http://arxiv.org/abs/2301.09992v1
- Date: Tue, 24 Jan 2023 13:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:33:35.019646
- Title: Multitask Instruction-based Prompting for Fallacy Recognition
- Title（参考訳）: 誤認識のためのマルチタスクインストラクションに基づくプロンプト
- Authors: Tariq Alhindi, Tuhin Chakrabarty, Elena Musi and Smaranda Muresan
- Abstract要約: ドメインやジャンルにまたがる28のユニークな誤認識をマルチタスクで認識する能力を示す。
また, モデルサイズと選択の促進効果について, クラスごとの結果(すなわち, 誤り型)を分析して検討した。
- 参考スコア（独自算出の注目度）: 35.10919984256853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fallacies are used as seemingly valid arguments to support a position and
persuade the audience about its validity. Recognizing fallacies is an
intrinsically difficult task both for humans and machines. Moreover, a big
challenge for computational models lies in the fact that fallacies are
formulated differently across the datasets with differences in the input format
(e.g., question-answer pair, sentence with fallacy fragment), genre (e.g.,
social media, dialogue, news), as well as types and number of fallacies (from 5
to 18 types per dataset). To move towards solving the fallacy recognition task,
we approach these differences across datasets as multiple tasks and show how
instruction-based prompting in a multitask setup based on the T5 model improves
the results against approaches built for a specific dataset such as T5, BERT or
GPT-3. We show the ability of this multitask prompting approach to recognize 28
unique fallacies across domains and genres and study the effect of model size
and prompt choice by analyzing the per-class (i.e., fallacy type) results.
Finally, we analyze the effect of annotation quality on model performance, and
the feasibility of complementing this approach with external knowledge.
- Abstract（参考訳）: 虚偽は、ある立場を支持し、その妥当性について聴衆を説得するために、一見妥当な議論として使われる。
誤認を認識することは、人間と機械の両方にとって本質的に難しいタスクである。
さらに、計算モデルの大きな課題は、入力形式の違い(例えば、質問-回答ペア、文と誤読フラグメント)、ジャンル(例えば、ソーシャルメディア、対話、ニュース)、およびデータセットのタイプと数(データセット毎に5から18種類)で、誤字はデータセットによって異なる形式化されているという事実にある。
誤り認識タスクの解決に向けて、データセット間の差異を複数のタスクとしてアプローチし、T5モデルに基づくマルチタスク設定における命令ベースのプロンプトが、T5、BERT、GPT-3のような特定のデータセットに構築されたアプローチに対してどのように改善するかを示す。
このマルチタスク手法により,ドメインやジャンルにまたがる28個のユニークな誤認識を識別し,クラスごとの結果(すなわち,誤字型)を分析して,モデルサイズと選択の促進効果について検討する。
最後に,アノテーション品質がモデル性能に及ぼす影響と,このアプローチを外部知識で補完する可能性について検討した。
関連論文リスト
- PUB: A Pragmatics Understanding Benchmark for Assessing LLMs' Pragmatics
Capabilities [40.55743949223173]
Pragmatics Understanding Benchmark (PUB) は、4つの実用的現象における14のタスクからなるデータセットである。
PUBには合計28kのデータポイントが含まれており、そのうち6.1kは私たちによって作成され、残りは既存のデータセットから適応されている。
本研究は,命令追従とチャットの微調整により,より小さな言語モデルの実用性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-01-13T13:46:14Z) - Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
論文 参考訳（メタデータ） (2023-11-16T04:17:47Z) - Robust and Explainable Identification of Logical Fallacies in Natural
Language Arguments [5.850977561881791]
論理的誤りに関する先行理論を総合的な3段階評価フレームワークに定式化する。
我々は,プロトタイプ推論,インスタンスベースの推論,知識注入に基づく,堅牢で説明可能な3つの手法を取り入れている。
我々はこれらの手法をデータセット上で広範囲に評価し、その堅牢性と説明可能性に焦点を当てた。
論文 参考訳（メタデータ） (2022-12-12T20:27:17Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳（メタデータ） (2021-01-13T09:55:29Z) - Differentiable Language Model Adversarial Attacks on Categorical
Sequence Classifiers [0.0]
敵対的攻撃パラダイムは、ディープラーニングモデルの脆弱性の様々なシナリオを探索する。
本研究では,言語モデルの微調整を,敵対的攻撃のジェネレータとして利用する。
我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットに対して機能する。
論文 参考訳（メタデータ） (2020-06-19T11:25:36Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。