論文の概要: DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of GPT-Generated Text

• arxiv url: http://arxiv.org/abs/2305.17359v2
• Date: Wed, 4 Oct 2023 16:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 18:44:34.134313
• Title: DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of GPT-Generated Text
• Title（参考訳）: DNA-GPT:GPT生成テキストのトレーニング不要検出のための多様性N-Gram解析
• Authors: Xianjun Yang, Wei Cheng, Yue Wu, Linda Petzold, William Yang Wang, Haifeng Chen
• Abstract要約: ダイバージェントN-Gram解析(DNA-GPT)と呼ばれる新しいトレーニング不要検出手法を提案する。 元の部分と新しい部分の違いをN-gram解析により解析することにより,機械生成テキストと人文テキストの分布に顕著な相違が明らかになった。 その結果, ゼロショットアプローチは, 人文とGPT生成テキストの区別において, 最先端の性能を示すことがわかった。
• 参考スコア（独自算出の注目度）: 82.5469544192645
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have notably enhanced the fluency and diversity of machine-generated text. However, this progress also presents a significant challenge in detecting the origin of a given text, and current research on detection methods lags behind the rapid evolution of LLMs. Conventional training-based methods have limitations in flexibility, particularly when adapting to new domains, and they often lack explanatory power. To address this gap, we propose a novel training-free detection strategy called Divergent N-Gram Analysis (DNA-GPT). Given a text, we first truncate it in the middle and then use only the preceding portion as input to the LLMs to regenerate the new remaining parts. By analyzing the differences between the original and new remaining parts through N-gram analysis in black-box or probability divergence in white-box, we unveil significant discrepancies between the distribution of machine-generated text and the distribution of human-written text. We conducted extensive experiments on the most advanced LLMs from OpenAI, including text-davinci-003, GPT-3.5-turbo, and GPT-4, as well as open-source models such as GPT-NeoX-20B and LLaMa-13B. Results show that our zero-shot approach exhibits state-of-the-art performance in distinguishing between human and GPT-generated text on four English and one German dataset, outperforming OpenAI's own classifier, which is trained on millions of text. Additionally, our methods provide reasonable explanations and evidence to support our claim, which is a unique feature of explainable detection. Our method is also robust under the revised text attack and can additionally solve model sourcing. Codes are available at https://github.com/Xianjun-Yang/DNA-GPT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、機械生成テキストの流布度と多様性を著しく向上させた。 しかし、この進歩は、与えられたテキストの起源を検出する上でも重要な課題であり、LLMの急速な進化の背後にあるラグの検出方法に関する現在の研究である。 従来のトレーニングベースの方法は柔軟性に制限があり、特に新しいドメインに適応する場合、説明力に欠けることが多い。 そこで本研究では,Divergent N-Gram Analysis (DNA-GPT) と呼ばれる新たなトレーニング不要検出手法を提案する。 テキストが与えられた後、まず中央で切り刻み、次にLCMへの入力として前の部分のみを使用し、新しい残部を再生します。 ブラックボックスのN-gram解析やホワイトボックスの確率ばらつきから,元の部分と新しい部分の違いを分析することで,機械生成テキストの分布と人文テキストの分布との間に大きな相違があることを明らかにする。 我々は,GPT-NeoX-20BやLLaMa-13Bといったオープンソースモデルとともに,テキストダビンシ003,GPT-3.5-turbo,GPT-4など,OpenAIの最も先進的なLCMについて広範な実験を行った。 その結果、我々のゼロショットアプローチは、4つの英語と1つのドイツ語データセット上の人間とGPT生成したテキストを区別し、数百万のテキストで訓練されたOpenAI独自の分類器より優れていることを示す。 さらに,提案手法は,説明可能な検出のユニークな特徴であるクレームを支持する合理的な説明と証拠を提供する。 本手法は,修正テキスト攻撃においても頑健であり,さらにモデルソーシングを解決できる。 コードはhttps://github.com/Xianjun-Yang/DNA-GPTで公開されている。

関連論文リスト

• Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
  目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。 我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-29T18:00:56Z)
• DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions [13.077729125193434]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:23:10Z)
• GPT-who: An Information Density-based Machine-Generated Text Detector [6.868333048917314]
  GPTは、精神言語学的に認識される最初の多クラスドメインに依存しない統計ベースの検出器である。 本稿では,UIDに基づく人文と機械文の表現の最大化について述べる。
  論文  参考訳（メタデータ） (2023-10-09T23:06:05Z)
• Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
  短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。 MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-29T15:25:00Z)
• GPT Paternity Test: GPT Generated Text Detection with GPT Genetic Inheritance [89.97709633381172]
  GPTパタニティテスト(GPT-Pat)を導入する。 原文と生成された再回答テキストとの類似性を比較することにより、本文が機械生成されているか否かを判定することができる。 提案手法は4つの一般化テストセットで平均94.57%の精度を達成し, 最先端のRoBERTa法を12.34%上回った。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment [0.0]
  効率的なテキストデータ分散(TDD)アライメントと生成は、テキスト分析とNLPにおけるオープンな研究課題である。 我々は、KL Textual Distributions Contrastsという、Kulback-Leibler分散アプリケーションからTDDへの独自のプロセス駆動のバリエーションを開発した。 そこで本研究では、トピックと感情によるTDDの生成と検証のためのユニークなアプローチを特定します。
  論文  参考訳（メタデータ） (2021-06-15T21:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。