論文の概要: DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions

• arxiv url: http://arxiv.org/abs/2310.14479v1
• Date: Mon, 23 Oct 2023 01:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 23:31:43.764845
• Title: DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions
• Title（参考訳）: DetectGPT-SC:マスケ予測による自己整合による大規模言語モデルによるテキストの検出の改善
• Authors: Rongsheng Wang, Qi Li, Sihong Xie
• Abstract要約: 既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
• 参考スコア（独自算出の注目度）: 13.077729125193434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General large language models (LLMs) such as ChatGPT have shown remarkable success, but it has also raised concerns among people about the misuse of AI-generated texts. Therefore, an important question is how to detect whether the texts are generated by ChatGPT or by humans. Existing detectors are built on the assumption that there is a distribution gap between human-generated and AI-generated texts. These gaps are typically identified using statistical information or classifiers. In contrast to prior research methods, we find that large language models such as ChatGPT exhibit strong self-consistency in text generation and continuation. Self-consistency capitalizes on the intuition that AI-generated texts can still be reasoned with by large language models using the same logical reasoning when portions of the texts are masked, which differs from human-generated texts. Using this observation, we subsequently proposed a new method for AI-generated texts detection based on self-consistency with masked predictions to determine whether a text is generated by LLMs. This method, which we call DetectGPT-SC. We conducted a series of experiments to evaluate the performance of DetectGPT-SC. In these experiments, we employed various mask scheme, zero-shot, and simple prompt for completing masked texts and self-consistency predictions. The results indicate that DetectGPT-SC outperforms the current state-of-the-art across different tasks.
• Abstract（参考訳）: ChatGPTのような一般的な大規模言語モデル(LLM)は目覚ましい成功を収めているが、AI生成テキストの誤用も懸念されている。 したがって、重要な疑問は、テキストがChatGPTによって生成されるか、人間によって生成されるかを検出する方法である。 既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 これらのギャップは一般に統計情報や分類器を用いて識別される。 従来の研究手法とは対照的に,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示す。 自己整合性(Self-Consistency)は、AIが生成したテキストは、人間の生成したテキストと異なり、テキストの一部が隠されている場合と同じ論理的推論を用いて、大きな言語モデルで推論できるという直感に乗じている。 そこで本研究では, マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案し, LLMによってテキストが生成されるかどうかを判定する。 この手法は detectiongpt-sc と呼ぶ。 detectiongpt-scの性能評価のための一連の実験を行った。 これらの実験では,様々なマスクスキーム,ゼロショット,簡単なプロンプトを用いてマスクテキストの完成と自己一貫性の予測を行った。 その結果, 検出gpt-scは, 異なるタスクにまたがる現在の状態よりも優れていた。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text [1.9643748953805937]
  生成言語モデルは、人間が生成したように見える人工的なテキストを生成することによって、潜在的に騙される可能性がある。 この調査は、人間が生成したテキストとChatGPTを区別するために使われている現在のアプローチの概要を提供する。
  論文  参考訳（メタデータ） (2023-09-14T13:05:20Z)
• Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
  短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。 MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-29T15:25:00Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。