論文の概要: CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts
- arxiv url: http://arxiv.org/abs/2304.12008v1
- Date: Mon, 24 Apr 2023 11:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:13:19.827090
- Title: CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts
- Title（参考訳）: CHEAT: ChatGPT-writtEn AbsTractsを検出する大規模データセット
- Authors: Peipeng Yu, Jiahan Chen, Xuan Feng, Zhihua Xia
- Abstract要約: 悪意のあるユーザーはChatGPTを通じてダミーな学術コンテンツを合成できる。
本稿では,検出アルゴリズムの開発を支援するために,大規模なCHatGPT-writtEn AbsTractデータセット(CHEAT)を提案する。
本稿では,ChatGPTで記述した抽象概念が検出可能である一方で,人間の関与によって検出困難が増大することを示す。
- 参考スコア（独自算出の注目度）: 4.996024676016296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The powerful ability of ChatGPT has caused widespread concern in the academic
community. Malicious users could synthesize dummy academic content through
ChatGPT, which is extremely harmful to academic rigor and originality. The need
to develop ChatGPT-written content detection algorithms call for large-scale
datasets. In this paper, we initially investigate the possible negative impact
of ChatGPT on academia,and present a large-scale CHatGPT-writtEn AbsTract
dataset (CHEAT) to support the development of detection algorithms. In
particular, the ChatGPT-written abstract dataset contains 35,304 synthetic
abstracts, with Generation, Polish, and Mix as prominent representatives. Based
on these data, we perform a thorough analysis of the existing text synthesis
detection algorithms. We show that ChatGPT-written abstracts are detectable,
while the detection difficulty increases with human involvement.
- Abstract（参考訳）: ChatGPTの強力な能力は、学術界で広く関心を集めている。
悪意のあるユーザはChatGPTを通じてダミーな学術コンテンツを合成することができる。
ChatGPTで書かれたコンテンツ検出アルゴリズムを開発するためには、大規模なデータセットが必要である。
本稿ではまず,ChatGPTが学界に与える影響について検討し,大規模なCHatGPT-writtEn AbsTractデータセット(CHEAT)を用いて検出アルゴリズムの開発を支援する。
特に、ChatGPTで書かれた抽象データセットは、ジェネレーション、ポーランド、ミックスを代表とする35,304の合成抽象化を含んでいる。
これらのデータに基づいて,既存のテキスト合成検出アルゴリズムの徹底的な解析を行う。
また,チャットgptによる要約は検出可能であり,人間の関与により検出困難度が増加することを示した。
関連論文リスト
- Is ChatGPT the Future of Causal Text Mining? A Comprehensive Evaluation
and Analysis [8.031131164056347]
本研究はChatGPTの因果テキストマイニング機能に関する総合的な評価を行う。
一般的な英語データセットを超えて拡張するベンチマークを導入する。
また、ChatGPTと従来のアプローチとの公正な比較を保証するための評価フレームワークも提供する。
論文 参考訳（メタデータ） (2024-02-22T12:19:04Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text? [20.37071875344405]
人間の書き起こし対AI生成テキスト検出におけるChatGPTのゼロショット性能を評価する。
我々は,ChatGPTがAI生成テキストや人文テキストの検出に対称的に有効であるかどうかを実証的に検討する。
論文 参考訳（メタデータ） (2023-08-02T17:11:37Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries
Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。
自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:28:33Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。