論文の概要: Testing of Detection Tools for AI-Generated Text
- arxiv url: http://arxiv.org/abs/2306.15666v2
- Date: Mon, 10 Jul 2023 16:14:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 17:55:52.247667
- Title: Testing of Detection Tools for AI-Generated Text
- Title(参考訳): AI生成テキストの検出ツールのテスト
- Authors: Debora Weber-Wulff (University of Applied Sciences HTW Berlin,
Germany), Alla Anohina-Naumeca (Riga Technical University, Latvia), Sonja
Bjelobaba (Uppsala University, Sweden), Tom\'a\v{s} Folt\'ynek (Masaryk
University, Czechia), Jean Guerrero-Dib (Universidad de Monterrey, Mexico),
Olumide Popoola (Queen Mary University of London, UK), Petr \v{S}igut
(Masaryk University, Czechia), Lorna Waddington (University of Leeds, UK)
- Abstract要約: 本稿では,人工知能生成テキストの検出ツールの機能について検討する。
精度と誤差型分析に基づいて評価する。
この研究は12の公開ツールと2つの商用システムをカバーする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in generative pre-trained transformer large language models
have emphasised the potential risks of unfair use of artificial intelligence
(AI) generated content in an academic environment and intensified efforts in
searching for solutions to detect such content. The paper examines the general
functionality of detection tools for artificial intelligence generated text and
evaluates them based on accuracy and error type analysis. Specifically, the
study seeks to answer research questions about whether existing detection tools
can reliably differentiate between human-written text and ChatGPT-generated
text, and whether machine translation and content obfuscation techniques affect
the detection of AI-generated text. The research covers 12 publicly available
tools and two commercial systems (Turnitin and PlagiarismCheck) that are widely
used in the academic setting. The researchers conclude that the available
detection tools are neither accurate nor reliable and have a main bias towards
classifying the output as human-written rather than detecting AI-generated
text. Furthermore, content obfuscation techniques significantly worsen the
performance of tools. The study makes several significant contributions. First,
it summarises up-to-date similar scientific and non-scientific efforts in the
field. Second, it presents the result of one of the most comprehensive tests
conducted so far, based on a rigorous research methodology, an original
document set, and a broad coverage of tools. Third, it discusses the
implications and drawbacks of using detection tools for AI-generated text in
academic settings.
- Abstract(参考訳): 近年の大量言語モデルでは,人工知能(ai)生成コンテンツの学術環境における不公平利用の潜在的リスクが強調され,その検出方法の探索への取り組みが強化されている。
本稿では,人工知能生成テキストの検出ツールの汎用性を検証し,精度とエラータイプ分析に基づいて評価する。
具体的には、既存の検出ツールが人間のテキストとChatGPT生成テキストとを確実に区別できるかどうか、機械翻訳とコンテンツ難読化技術がAI生成テキストの検出に影響を及ぼすかどうか、といった研究課題に答えようとしている。
この研究は、12の公開ツールと2つの商用システム(TurnitinとPlagiarismCheck)をカバーし、学術的に広く使われている。
研究者たちは、利用可能な検出ツールは正確でも信頼性もなく、AI生成したテキストを検出するのではなく、アウトプットを人間書きと分類する主なバイアスがある、と結論付けている。
さらに、コンテンツの難読化技術はツールのパフォーマンスを著しく悪化させる。
この研究にはいくつかの大きな貢献がある。
第一に、この分野における最新の科学的、非科学的努力を要約する。
第二に、これまで行われた最も包括的なテストのうちの1つで、厳密な研究方法論、オリジナルのドキュメントセット、ツールの広範囲にわたる結果を示す。
第3に、学術的環境におけるAI生成テキストの検出ツールの使用の意味と欠点について論じる。
関連論文リスト
- Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated
Student Essay Detection [29.433764586753956]
大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。
これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。
本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
論文 参考訳(メタデータ) (2024-02-01T08:11:56Z) - Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳(メタデータ) (2023-12-20T10:53:53Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳(メタデータ) (2023-10-23T18:11:32Z) - An Empirical Study of AI Generated Text Detection Tools [0.0]
ChatGPTには大きな約束がありますが、その誤用によって起こりうる深刻な問題があります。
GPTkit"、"GPTZero"、"Originality"、"Sapling"、"Writer"、"Zylalab"を含む6つの異なる人工知能(AI)テキスト識別システムは、精度が55.29から97.0%である。
論文 参考訳(メタデータ) (2023-09-27T12:44:12Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:51Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Is This Abstract Generated by AI? A Research for the Gap between
AI-generated Scientific Text and Human-written Scientific Text [13.438933219811188]
本稿では,AIが生み出す科学内容と人間による文章とのギャップについて検討する。
我々は、AI生成科学テキストと人文科学テキストの間に、文章スタイルのギャップがあることを発見した。
論文 参考訳(メタデータ) (2023-01-24T04:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。