論文の概要: An Empirical Study of AI Generated Text Detection Tools
- arxiv url: http://arxiv.org/abs/2310.01423v1
- Date: Wed, 27 Sep 2023 12:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-08 11:09:00.430628
- Title: An Empirical Study of AI Generated Text Detection Tools
- Title（参考訳）: AI生成テキスト検出ツールの実証的研究
- Authors: Arslan Akram
- Abstract要約: ChatGPTには大きな約束がありますが、その誤用によって起こりうる深刻な問題があります。
GPTkit"、"GPTZero"、"Originality"、"Sapling"、"Writer"、"Zylalab"を含む6つの異なる人工知能(AI)テキスト識別システムは、精度が55.29から97.0%である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Since ChatGPT has emerged as a major AIGC model, providing high-quality
responses across a wide range of applications (including software development
and maintenance), it has attracted much interest from many individuals. ChatGPT
has great promise, but there are serious problems that might arise from its
misuse, especially in the realms of education and public safety. Several AIGC
detectors are available, and they have all been tested on genuine text.
However, more study is needed to see how effective they are for multi-domain
ChatGPT material. This study aims to fill this need by creating a multi-domain
dataset for testing the state-of-the-art APIs and tools for detecting
artificially generated information used by universities and other research
institutions. A large dataset consisting of articles, abstracts, stories, news,
and product reviews was created for this study. The second step is to use the
newly created dataset to put six tools through their paces. Six different
artificial intelligence (AI) text identification systems, including "GPTkit,"
"GPTZero," "Originality," "Sapling," "Writer," and "Zylalab," have accuracy
rates between 55.29 and 97.0%. Although all the tools fared well in the
evaluations, originality was particularly effective across the board.
- Abstract（参考訳）: ChatGPTは主要なAIGCモデルとして登場し、幅広いアプリケーション(ソフトウェア開発やメンテナンスを含む)に高品質なレスポンスを提供しているため、多くの個人から大きな関心を集めている。
ChatGPTには大きな約束があるが、特に教育と公共の安全の領域において、その誤用から起こりうる深刻な問題がある。
いくつかのAIGC検出器が利用可能であり、それらはすべて本物のテキストでテストされている。
しかし、マルチドメインのchatgpt素材に対する効果を調べるには、さらなる研究が必要である。
本研究の目的は,大学などの研究機関が使用する,最先端のAPIと人工的に生成された情報を検出するツールをテストするマルチドメインデータセットを作成することである。
本研究のために,記事,要約,記事,ニュース,製品レビューからなる大規模データセットを作成した。
第2のステップは、新たに作成されたデータセットを使用して、6つのツールをペースで配置することだ。
GPTkit"、"GPTZero"、"Originality"、"Sapling"、"Writer"、"Zylalab"を含む6つの異なる人工知能(AI)テキスト識別システムは、精度が55.29から97.0%である。
すべてのツールの評価は良好だったが、独創性はボード全体で特に有効だった。
関連論文リスト
- Artificial Intelligence Driven Course Generation: A Case Study Using ChatGPT [0.0]
本研究は,ChatGPTを教材として活用することを目的としている。
主な目的は、AI駆動コース生成の効率、品質、および影響を評価することである。
この研究は、AIが教育コンテンツ制作に革命をもたらす可能性を強調している。
論文 参考訳（メタデータ） (2024-11-02T21:59:02Z) - SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。
最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。
従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
論文 参考訳（メタデータ） (2024-10-06T01:03:42Z) - Quantitative Analysis of AI-Generated Texts in Academic Research: A Study of AI Presence in Arxiv Submissions using AI Detection Tool [0.0]
本研究は,学術機関がArxivに投稿するために用いた,意図的に制作されたコンテンツを閲覧する手法について分析する。
統計分析によると、Originality.aiは98%の精度で正確である。
論文 参考訳（メタデータ） (2024-02-09T17:20:48Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - ConDA: Contrastive Domain Adaptation for AI-generated Text Detection [17.8787054992985]
大規模言語モデル(LLM)は、ニュース記事のテキスト生成にますます利用されている。
これらのLSMを大規模に偽情報を生成できる潜在的な悪意のある性質を考えると、このようなAI生成テキストのための効果的な検出器を構築することが重要である。
本研究では、AI生成したニューステキストの検出において、このデータ問題に取り組み、その問題を教師なしドメイン適応タスクとしてフレーム化する。
論文 参考訳（メタデータ） (2023-09-07T19:51:30Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:51Z) - Testing of Detection Tools for AI-Generated Text [0.0]
本稿では,人工知能生成テキストの検出ツールの機能について検討する。
精度と誤差型分析に基づいて評価する。
この研究は12の公開ツールと2つの商用システムをカバーする。
論文 参考訳（メタデータ） (2023-06-21T16:29:44Z) - M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection [69.29017069438228]
大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。
本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
論文 参考訳（メタデータ） (2023-05-24T08:55:11Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。