論文の概要: Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition
- arxiv url: http://arxiv.org/abs/2311.09552v2
- Date: Thu, 15 Aug 2024 15:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 19:14:56.658610
- Title: Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition
- Title(参考訳): 大規模言語モデルとFew-Shotトレーニング例ジェネレータ:誤認識のケーススタディ
- Authors: Tariq Alhindi, Smaranda Muresan, Preslav Nakov,
- Abstract要約: 計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
- 参考スコア(独自算出の注目度): 49.38757847011105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recognizing fallacies is crucial for ensuring the quality and validity of arguments across various domains. However, computational fallacy recognition faces challenges due to the diverse genres, domains, and types of fallacies found in datasets. This leads to a highly multi-class, and even multi-label, setup with substantial class imbalance. In this study, we aim to enhance existing models for fallacy recognition by incorporating additional context and by leveraging large language models to generate synthetic data, thus increasing the representation of the infrequent classes. We experiment with GPT3.5 to generate synthetic examples and we examine the impact of prompt settings for this. Moreover, we explore zero-shot and few-shot scenarios to evaluate the effectiveness of using the generated examples for training smaller models within a unified fallacy recognition framework. Furthermore, we analyze the overlap between the synthetic data and existing fallacy datasets. Finally, we investigate the usefulness of providing supplementary context for detecting fallacy types that need such context, e.g., diversion fallacies. Our evaluation results demonstrate consistent improvements across fallacy types, datasets, and generators. The code and the synthetic datasets are all publicly available.
- Abstract(参考訳): 諸領域にわたる議論の品質と妥当性を確保するためには,誤認識の認識が不可欠である。
しかし、計算の誤認識は、データセットに見られる様々なジャンル、ドメイン、タイプによる課題に直面している。
これにより、高いマルチクラス、さらにはマルチラベルのセットアップが、かなりクラスの不均衡を伴います。
本研究では,新たな文脈を取り入れ,大規模言語モデルを活用して合成データを生成することによって,誤り認識のための既存のモデルを強化することを目的としている。
我々は、GPT3.5を用いて合成例を生成し、これに対するプロンプト設定の影響について検討した。
さらに、ゼロショットと少数ショットのシナリオを探索し、生成した例を用いて、統一された誤認識フレームワーク内でより小さなモデルを訓練するの有効性を評価する。
さらに、合成データと既存の誤りデータセットの重なりを解析する。
最後に,このようなコンテキストを必要とする誤字を検出するための補足的コンテキストを提供することの有用性について検討する。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
コードと合成データセットはすべて公開されています。
関連論文リスト
- Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:11:10Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - Case-Based Reasoning with Language Models for Classification of Logical
Fallacies [3.511369967593153]
本稿では,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。
本実験は,ケースベース推論が言語モデルの精度と一般化性を向上させることを示唆している。
論文 参考訳(メタデータ) (2023-01-27T17:49:16Z) - Multitask Instruction-based Prompting for Fallacy Recognition [35.10919984256853]
ドメインやジャンルにまたがる28のユニークな誤認識をマルチタスクで認識する能力を示す。
また, モデルサイズと選択の促進効果について, クラスごとの結果(すなわち, 誤り型)を分析して検討した。
論文 参考訳(メタデータ) (2023-01-24T13:39:23Z) - Towards Generating Adversarial Examples on Mixed-type Data [32.41305735919529]
そこで本研究では,M-Attackを用いた攻撃アルゴリズムを提案する。
M-Attackをベースとした攻撃者は、与えられたデータサンプルの数値的特徴と分類的特徴の両方をわずかに摂動させることで、ターゲットの分類モデルの予測を誤解させようとする。
我々の生成した敵の例は潜在的な検出モデルを避けることができるため、攻撃は本当に惨めである。
論文 参考訳(メタデータ) (2022-10-17T20:17:21Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳(メタデータ) (2020-11-17T10:45:05Z) - PermuteAttack: Counterfactual Explanation of Machine Learning Credit
Scorecards [0.0]
本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。
提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
論文 参考訳(メタデータ) (2020-08-24T00:05:13Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。