論文の概要: Assessing the Effectiveness of GPT-3 in Detecting False Political Statements: A Case Study on the LIAR Dataset

• arxiv url: http://arxiv.org/abs/2306.08190v1
• Date: Wed, 14 Jun 2023 01:16:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 20:45:13.558975
• Title: Assessing the Effectiveness of GPT-3 in Detecting False Political Statements: A Case Study on the LIAR Dataset
• Title（参考訳）: 偽の政治文書検出におけるGPT-3の有効性の評価:LIARデータセットを事例として
• Authors: Mars Gokturk Buchholz
• Abstract要約: 政治的偽の言明の検出は、情報の整合性を維持し、社会における誤報の拡散を防ぐために不可欠である。 歴史的に、最先端の機械学習モデルは、偽造文を検出する様々な方法を用いていた。 GPT-3のような大規模言語モデルの最近の進歩は、幅広いタスクにおいて最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The detection of political fake statements is crucial for maintaining information integrity and preventing the spread of misinformation in society. Historically, state-of-the-art machine learning models employed various methods for detecting deceptive statements. These methods include the use of metadata (W. Wang et al., 2018), n-grams analysis (Singh et al., 2021), and linguistic (Wu et al., 2022) and stylometric (Islam et al., 2020) features. Recent advancements in large language models, such as GPT-3 (Brown et al., 2020) have achieved state-of-the-art performance on a wide range of tasks. In this study, we conducted experiments with GPT-3 on the LIAR dataset (W. Wang et al., 2018) and achieved higher accuracy than state-of-the-art models without using any additional meta or linguistic features. Additionally, we experimented with zero-shot learning using a carefully designed prompt and achieved near state-of-the-art performance. An advantage of this approach is that the model provided evidence for its decision, which adds transparency to the model's decision-making and offers a chance for users to verify the validity of the evidence provided.
• Abstract（参考訳）: 政治的偽言の検出は、情報の完全性を維持し、社会における誤報の拡散を防ぐために重要である。 歴史的に、最先端の機械学習モデルは、偽造文を検出する様々な方法を用いていた。 これらの手法にはメタデータ(W. Wang et al., 2018)、n-grams analysis(Singh et al., 2021)、言語(Wu et al., 2022)、スタイリスティックな特徴(Islam et al., 2020)の使用が含まれる。 GPT-3(Brown et al., 2020)のような大規模言語モデルの最近の進歩は、幅広いタスクにおいて最先端のパフォーマンスを実現している。 本研究では,LIARデータセット(W. Wang et al., 2018)上でGPT-3を用いて実験を行い,メタモデルや言語学的特徴を使わずに最先端モデルよりも高い精度を実現した。 さらに, 注意深く設計したプロンプトを用いてゼロショット学習を実験し, ほぼ最先端の性能を達成した。 このアプローチの利点は、モデルが決定の証拠を提供し、モデルの意思決定に透明性を与え、ユーザが提供された証拠の有効性を検証する機会を提供することである。

関連論文リスト

• Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation [31.61985215677114]
  SECデータに対するMeta-Llama-3-70B-Instructモデルのドメイン適応に関する広範な実験を行った。 我々の焦点は、継続事前学習(CPT)とモデルのマージであり、モデルのドメイン固有の機能を強化することを目的としていた。 これは、プロセス全体を理解するための徹底的な評価を備えた、プレプリントの技術レポートです。
  論文  参考訳（メタデータ） (2024-06-21T08:29:31Z)
• Investigating Persuasion Techniques in Arabic: An Empirical Study Leveraging Large Language Models [0.13980986259786224]
  本稿では、アラビアのソーシャルメディアコンテンツにおける説得的手法の同定に焦点をあてた総合的な実証的研究について述べる。 我々は、プレトレーニング言語モデル(PLM)を利用し、ArAlEvalデータセットを活用する。 本研究では,PLMの力を活用した3つの学習手法について検討した。
  論文  参考訳（メタデータ） (2024-05-21T15:55:09Z)
• CLIPping the Deception: Adapting Vision-Language Models for Universal Deepfake Detection [3.849401956130233]
  広汎な深度検出のための最近の適応手法と組み合わせた事前学習型視覚言語モデル(VLM)の有効性について検討する。 ディープフェイク検出にCLIPを適用するために、単一のデータセット(ProGAN)のみを使用します。 シンプルで軽量なPrompt Tuningベースの適応戦略は、以前のSOTAアプローチよりも5.01% mAPと6.61%の精度で優れている。
  論文  参考訳（メタデータ） (2024-02-20T11:26:42Z)
• Black-Box Analysis: GPTs Across Time in Legal Textual Entailment Task [17.25356594832692]
  本稿では,COLIEE Task 4 データセット上での GPT-3.5 (ChatGPT) と GPT-4 の性能解析を行う。 予備的な実験結果から,法的なテキスト・エンタテインメント・タスクの処理におけるモデルの強みや弱点に関する興味深い知見が得られた。
  論文  参考訳（メタデータ） (2023-09-11T14:43:54Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• Metadata Might Make Language Models Better [1.7100280218774935]
  19世紀の新聞をケーススタディとして、マスケッド言語モデルに時間的、政治的、地理的情報を挿入するための異なる戦略を比較した。 関連するメタデータを言語モデルに示すことは有益な影響があり、より堅牢で公平なモデルを生成することさえあることに気付きました。
  論文  参考訳（メタデータ） (2022-11-18T08:29:00Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。