論文の概要: DEMASQ: Unmasking the ChatGPT Wordsmith

• arxiv url: http://arxiv.org/abs/2311.05019v1
• Date: Wed, 8 Nov 2023 21:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:42:54.341389
• Title: DEMASQ: Unmasking the ChatGPT Wordsmith
• Title（参考訳）: DEMASQ: ChatGPTのワードスミスを解き放つ
• Authors: Kavita Kumari and Alessandro Pegoraro and Hossein Fereidooni and Ahmad-Reza Sadeghi
• Abstract要約: そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
• 参考スコア（独自算出の注目度）: 63.8746084667206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The potential misuse of ChatGPT and other Large Language Models (LLMs) has raised concerns regarding the dissemination of false information, plagiarism, academic dishonesty, and fraudulent activities. Consequently, distinguishing between AI-generated and human-generated content has emerged as an intriguing research topic. However, current text detection methods lack precision and are often restricted to specific tasks or domains, making them inadequate for identifying content generated by ChatGPT. In this paper, we propose an effective ChatGPT detector named DEMASQ, which accurately identifies ChatGPT-generated content. Our method addresses two critical factors: (i) the distinct biases in text composition observed in human- and machine-generated content and (ii) the alterations made by humans to evade previous detection methods. DEMASQ is an energy-based detection model that incorporates novel aspects, such as (i) optimization inspired by the Doppler effect to capture the interdependence between input text embeddings and output labels, and (ii) the use of explainable AI techniques to generate diverse perturbations. To evaluate our detector, we create a benchmark dataset comprising a mixture of prompts from both ChatGPT and humans, encompassing domains such as medical, open Q&A, finance, wiki, and Reddit. Our evaluation demonstrates that DEMASQ achieves high accuracy in identifying content generated by ChatGPT.
• Abstract（参考訳）: ChatGPTや他の大規模言語モデル(LLMs)の潜在的な誤用は、偽情報の拡散、盗作、学術的不正、不正行為に関する懸念を引き起こしている。 その結果、AI生成コンテンツと人間生成コンテンツの区別が興味深い研究トピックとして浮上した。 しかし、現在のテキスト検出手法は精度が低く、特定のタスクやドメインに限定されることが多く、chatgptによって生成されたコンテンツの識別には不十分である。 本稿では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 我々の手法は2つの重要な要素に対処する。 (i)人文・機械制作コンテンツに見られる文章構成の異なる偏り、及び (ii)従来の検出方法を回避するために人間が行った変更。 DEMASQはエネルギーに基づく検出モデルであり、新しい側面を含む。 (i)入力テキスト埋め込みと出力ラベルの相互依存を捉えるためのドップラー効果に触発された最適化 (II)多様な摂動を生成するための説明可能なAI技術の使用。 検知器の評価のために,ChatGPTとヒトの両方からのプロンプトを混合したベンチマークデータセットを作成し,医療,オープンQ&A,ファイナンス,wiki,Redditなどの領域を含む。 評価の結果,demasq は chatgpt が生成するコンテンツの識別精度が向上した。

関連論文リスト

• Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text [1.9643748953805937]
  生成言語モデルは、人間が生成したように見える人工的なテキストを生成することによって、潜在的に騙される可能性がある。 この調査は、人間が生成したテキストとChatGPTを区別するために使われている現在のアプローチの概要を提供する。
  論文  参考訳（メタデータ） (2023-09-14T13:05:20Z)
• HC3 Plus: A Semantic-Invariant Human ChatGPT Comparison Corpus [22.302137281411646]
  ChatGPTはその素晴らしいパフォーマンスのために大きな関心を集めている。 その潜在的なリスクについて懸念が高まっている。 ChatGPT生成テキストを検出するために使用される現在のデータセットは、主に質問応答タスクに焦点を当てている。
  論文  参考訳（メタデータ） (2023-09-06T05:33:57Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text [48.36706154871577]
  我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。 純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。 また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:38:37Z)
• Differentiate ChatGPT-generated and Human-written Medical Texts [8.53416950968806]
  この研究は、医学における責任と倫理的AIGC(Artificial Intelligence Generated Content)に関する最初の研究である。 本稿では,ChatGPTによる人的専門家による医療用テキストの差異の分析に焦点をあてる。 次のステップでは、これらの2種類の内容の言語的特徴を分析し、語彙、部分音声、依存性、感情、難易度などの違いを明らかにする。
  論文  参考訳（メタデータ） (2023-04-23T07:38:07Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
  OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。 自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:28:33Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。