論文の概要: Assessing GPTZero's Accuracy in Identifying AI vs. Human-Written Essays
- arxiv url: http://arxiv.org/abs/2506.23517v1
- Date: Mon, 30 Jun 2025 04:53:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.921772
- Title: Assessing GPTZero's Accuracy in Identifying AI vs. Human-Written Essays
- Title（参考訳）: GPTZeroのAIと人文エッセイの精度評価
- Authors: Selin Dik, Osman Erdem, Mehmet Dik,
- Abstract要約: GPTZeroは最も使われているAI検出器だが、人間によるテキストの識別の信頼性は限られている。
AIが生成した論文の大半が正確に検出され(91-100%のAIが信じていた世代)、一方で人間が生成したエッセイは変動した。
これらの結果は、GPTZeroは純粋にAI生成されたコンテンツを検出するのに有効であるが、人間によるテキストの識別の信頼性は限られていることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As the use of AI tools by students has become more prevalent, instructors have started using AI detection tools like GPTZero and QuillBot to detect AI written text. However, the reliability of these detectors remains uncertain. In our study, we focused mostly on the success rate of GPTZero, the most-used AI detector, in identifying AI-generated texts based on different lengths of randomly submitted essays: short (40-100 word count), medium (100-350 word count), and long (350-800 word count). We gathered a data set consisting of twenty-eight AI-generated papers and fifty human-written papers. With this randomized essay data, papers were individually plugged into GPTZero and measured for percentage of AI generation and confidence. A vast majority of the AI-generated papers were detected accurately (ranging from 91-100% AI believed generation), while the human generated essays fluctuated; there were a handful of false positives. These findings suggest that although GPTZero is effective at detecting purely AI-generated content, its reliability in distinguishing human-authored texts is limited. Educators should therefore exercise caution when relying solely on AI detection tools.
- Abstract（参考訳）: 学生によるAIツールの使用が普及するにつれて、インストラクターはGPTZeroやQuillBotといったAI検出ツールを使用して、AIによるテキストの検出を開始した。
しかし、これらの検出器の信頼性は依然として不明である。
本研究は,AI検出器であるGPTZeroの成功率に着目し,無作為なエッセイ(40～100ワードカウント),中(100～350ワードカウント),長(350～800ワードカウント)に基づいて,AI生成テキストの同定を行った。
私たちは28件のAI生成論文と50件の人書き論文からなるデータセットを収集しました。
このランダム化されたエッセイデータにより、論文は個別にGPTZeroにプラグインされ、AI生成と信頼性のパーセンテージを測定した。
AIが生成した論文の大部分は正確に検出され(91-100%のAIが信じていた世代から)、人間が生成したエッセイは変動した。
これらの結果は、GPTZeroは純粋にAI生成されたコンテンツを検出するのに有効であるが、人間によるテキストの識別の信頼性は限られていることを示唆している。
したがって、教育者はAI検出ツールのみに依存する場合、注意を払う必要がある。
関連論文リスト
- Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
本研究では、AI-Polished-Text Evaluationデータセットを用いて、12の最先端AIテキスト検出器を体系的に評価する。
我々の発見によると、検出器は、最小限に洗練されたテキストをAI生成としてフラグ付けし、AIの関与度を区別し、古いモデルや小さなモデルに対するバイアスを示す。
論文 参考訳（メタデータ） (2025-02-21T18:45:37Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [60.09665704993751]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳（メタデータ） (2025-02-06T21:58:48Z) - People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text [37.36534911201806]
私たちは、300のノンフィクションの英語記事を読むために注釈を雇い、それを人書きまたはAI生成とラベル付けします。
実験の結果,AI生成テキストの検出において,LLMを頻繁に使用するアノテータが優れていることがわかった。
注釈付きデータセットとコードを公開し、AI生成テキストの人的および自動検出に関する将来の研究を刺激します。
論文 参考訳（メタデータ） (2025-01-26T19:31:34Z) - DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。
偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
論文 参考訳（メタデータ） (2025-01-06T23:43:49Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。
盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。
我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。