論文の概要: Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition

• arxiv url: http://arxiv.org/abs/2311.09552v1
• Date: Thu, 16 Nov 2023 04:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:38:11.325509
• Title: Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition
• Title（参考訳）: 大規模言語モデルとFew-Shotトレーニング例ジェネレータ:誤認識のケーススタディ
• Authors: Tariq Alhindi, Smaranda Muresan and Preslav Nakov
• Abstract要約: 計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 53.952381499149965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognizing fallacies is crucial for ensuring the quality and validity of arguments across various domains. However, computational fallacy recognition faces challenges due to the diverse genres, domains, and types of fallacies found in datasets. This leads to a highly multiclass, and even multi-label, setup with substantial class imbalance. In this study, we aim to enhance existing models for fallacy recognition by incorporating additional context and by leveraging large language models to generate synthetic data, thus increasing the representation of the infrequent classes. We experiment with GPT3.5 to generate synthetic examples and we examine the impact of prompt settings for this. Moreover, we explore zero-shot and few-shot scenarios to evaluate the effectiveness of using the generated examples for training smaller models within a unified fallacy recognition framework. Furthermore, we analyze the overlap between the synthetic data and existing fallacy datasets. Finally, we investigate the usefulness of providing supplementary context for detecting fallacy types that need such context, e.g., diversion fallacies. Our evaluation results demonstrate consistent improvements across fallacy types, datasets, and generators.
• Abstract（参考訳）: 諸領域にわたる議論の品質と妥当性を確保するためには,誤認識の認識が不可欠である。 しかし、計算の誤認識は、データセットに見られる様々なジャンル、ドメイン、型によって困難に直面している。 これにより、高いマルチクラス、さらには、かなりクラスの不均衡を伴う、マルチラベルのセットアップにつながる。 本研究では,新たな文脈を取り入れ,大規模言語モデルを用いて合成データを生成することにより,誤認認識のための既存モデルを強化することを目的としている。 我々は、GPT3.5を用いて合成例を生成し、これに対するプロンプト設定の影響を検討する。 さらに,ゼロショットと少数ショットのシナリオを検討し,生成したサンプルを用いて,統合誤認認識フレームワークにおいて,より小さなモデルをトレーニングすることの有効性を評価する。 さらに,合成データと既存の誤用データセットの重なりを解析する。 最後に,このようなコンテキストを必要とする誤字を検出するための補足的コンテキストを提供することの有用性について検討する。 評価結果は、誤り型、データセット、ジェネレータ間で一貫した改善を示す。

関連論文リスト

• A Logical Fallacy-Informed Framework for Argument Generation [34.35377699079075]
  FIPOは、大規模言語モデルを論理的に健全な議論に導いてくれる、誤用インフォームドフレームワークである。 議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。 私たちのコードは alucamouchel.com/lucamouchel/Logical-Fallacies で利用可能です。
  論文  参考訳（メタデータ） (2024-08-07T08:19:44Z)
• Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance [16.047084318753377]
  不均衡なデータと急激な相関は、機械学習とデータサイエンスにおける一般的な課題である。 過度に表現されていないクラスのインスタンス数を人工的に増加させるオーバーサンプリングは、これらの課題に対処するために広く採用されている。 我々は,大規模言語モデルの能力を活用して,少数グループを対象とした高品質な合成データを生成する,体系的なオーバーサンプリング手法であるOPALを紹介する。
  論文  参考訳（メタデータ） (2024-06-05T21:24:26Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Case-Based Reasoning with Language Models for Classification of Logical Fallacies [3.511369967593153]
  本稿では,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。 本実験は,ケースベース推論が言語モデルの精度と一般化性を向上させることを示唆している。
  論文  参考訳（メタデータ） (2023-01-27T17:49:16Z)
• Multitask Instruction-based Prompting for Fallacy Recognition [35.10919984256853]
  ドメインやジャンルにまたがる28のユニークな誤認識をマルチタスクで認識する能力を示す。 また, モデルサイズと選択の促進効果について, クラスごとの結果(すなわち, 誤り型)を分析して検討した。
  論文  参考訳（メタデータ） (2023-01-24T13:39:23Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards [0.0]
  本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。 提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
  論文  参考訳（メタデータ） (2020-08-24T00:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。