論文の概要: GPT detectors are biased against non-native English writers

• arxiv url: http://arxiv.org/abs/2304.02819v3
• Date: Mon, 10 Jul 2023 18:48:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:45:43.445854
• Title: GPT detectors are biased against non-native English writers
• Title（参考訳）: GPT検出器はイギリス生まれでない作家に偏っている
• Authors: Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou
• Abstract要約: 我々は、ネイティブおよび非ネイティブな英語作家の筆記サンプルを用いて、広く使われているGPT検出器の性能を評価する。 これらの検出器は、非ネイティブな英語の筆記サンプルをAI生成と誤分類しているのに対し、ネイティブな筆記サンプルは正確に識別されている。
• 参考スコア（独自算出の注目度）: 13.853577885942514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid adoption of generative language models has brought about substantial advancements in digital communication, while simultaneously raising concerns regarding the potential misuse of AI-generated content. Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. Furthermore, we demonstrate that simple prompting strategies can not only mitigate this bias but also effectively bypass GPT detectors, suggesting that GPT detectors may unintentionally penalize writers with constrained linguistic expressions. Our results call for a broader conversation about the ethical implications of deploying ChatGPT content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse. The published version of this study can be accessed at: www.cell.com/patterns/fulltext/S2666-3899(23)00130-7
• Abstract（参考訳）: 生成言語モデルが急速に普及したことで、デジタルコミュニケーションが大幅に進歩し、同時にAI生成コンテンツの誤用に関する懸念も高まっている。 AIと人為的なコンテンツとを区別する多くの検出方法が提案されているが、これらの検出器の公正性と堅牢性は未発見のままである。 本研究では、ネイティブおよび非ネイティブな英語作家の筆記サンプルを用いて、広く使われているGPT検出器の性能を評価する。 これらの検出器は、非ネイティブな英語の筆記サンプルをAI生成と誤分類しているのに対し、ネイティブな筆記サンプルは正確に識別されている。 さらに, 単純なプロンプト戦略は, このバイアスを軽減するだけでなく, GPT検出器を効果的に回避できることを示す。 以上の結果から,chatgptコンテンツ検出器を配備することの倫理的意義について,特に非ネイティブ英語話者を不注意にペナルティを課したり,世界的談話から除外したりする場合に,より広範な議論が求められている。 この研究の公開されたバージョンは以下の通りである。 www.cell.com/patterns/fulltext/S2666-3899(23)00130-7

関連論文リスト

• The Impact of Prompts on Zero-Shot Detection of AI-Generated Text [4.337364406035291]
  チャットベースのアプリケーションでは、ユーザーは一般的にAI生成テキストのプロンプトを入力し、利用する。 本稿では,AI生成テキストの検出精度に対するプロンプトの影響を実証的に分析するための評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T11:33:34Z)
• Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection [29.433764586753956]
  大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。 これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。 本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-02-01T08:11:56Z)
• DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
  そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
  論文  参考訳（メタデータ） (2023-11-08T21:13:05Z)
• OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples [44.118047780553006]
  OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。 実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。 この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
  論文  参考訳（メタデータ） (2023-07-21T17:40:47Z)
• Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text [48.36706154871577]
  我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。 純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。 また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:38:37Z)
• Evade ChatGPT Detectors via A Single Space [17.07852413707166]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分散的なギャップがあるという仮定に基づいて構築されている。 検知器は人間の生成したテキストとAI生成したテキストのセマンティックスとスタイリスティックなギャップを効果的に識別できない。 検出を回避するためのSpaceInfi戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-05T18:48:28Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。