論文の概要: DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions
- arxiv url: http://arxiv.org/abs/2310.14479v1
- Date: Mon, 23 Oct 2023 01:23:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:31:43.764845
- Title: DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions
- Title（参考訳）: DetectGPT-SC:マスケ予測による自己整合による大規模言語モデルによるテキストの検出の改善
- Authors: Rongsheng Wang, Qi Li, Sihong Xie
- Abstract要約: 既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
- 参考スコア（独自算出の注目度）: 13.077729125193434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General large language models (LLMs) such as ChatGPT have shown remarkable
success, but it has also raised concerns among people about the misuse of
AI-generated texts. Therefore, an important question is how to detect whether
the texts are generated by ChatGPT or by humans. Existing detectors are built
on the assumption that there is a distribution gap between human-generated and
AI-generated texts. These gaps are typically identified using statistical
information or classifiers. In contrast to prior research methods, we find that
large language models such as ChatGPT exhibit strong self-consistency in text
generation and continuation. Self-consistency capitalizes on the intuition that
AI-generated texts can still be reasoned with by large language models using
the same logical reasoning when portions of the texts are masked, which differs
from human-generated texts. Using this observation, we subsequently proposed a
new method for AI-generated texts detection based on self-consistency with
masked predictions to determine whether a text is generated by LLMs. This
method, which we call DetectGPT-SC. We conducted a series of experiments to
evaluate the performance of DetectGPT-SC. In these experiments, we employed
various mask scheme, zero-shot, and simple prompt for completing masked texts
and self-consistency predictions. The results indicate that DetectGPT-SC
outperforms the current state-of-the-art across different tasks.
- Abstract（参考訳）: ChatGPTのような一般的な大規模言語モデル(LLM)は目覚ましい成功を収めているが、AI生成テキストの誤用も懸念されている。
したがって、重要な疑問は、テキストがChatGPTによって生成されるか、人間によって生成されるかを検出する方法である。
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
これらのギャップは一般に統計情報や分類器を用いて識別される。
従来の研究手法とは対照的に,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示す。
自己整合性(Self-Consistency)は、AIが生成したテキストは、人間の生成したテキストと異なり、テキストの一部が隠されている場合と同じ論理的推論を用いて、大きな言語モデルで推論できるという直感に乗じている。
そこで本研究では, マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案し, LLMによってテキストが生成されるかどうかを判定する。
この手法は detectiongpt-sc と呼ぶ。
detectiongpt-scの性能評価のための一連の実験を行った。
これらの実験では,様々なマスクスキーム,ゼロショット,簡単なプロンプトを用いてマスクテキストの完成と自己一貫性の予測を行った。
その結果, 検出gpt-scは, 異なるタスクにまたがる現在の状態よりも優れていた。
関連論文リスト
- Artificial Text Boundary Detection with Topological Data Analysis and
Sliding Window Techniques [7.268650032347209]
我々は,この人工テキスト境界検出問題に対して,様々なアプローチを検討・比較する。
本稿では,RoBERTaモデルの教師付き微調整が,一般に有効であることを示す。
本研究では,凍結言語モデルの埋め込みから抽出した特徴に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T17:48:19Z) - Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated
Text [1.9643748953805937]
生成言語モデルは、人間が生成したように見える人工的なテキストを生成することによって、潜在的に騙される可能性がある。
この調査は、人間が生成したテキストとChatGPTを区別するために使われている現在のアプローチの概要を提供する。
論文 参考訳（メタデータ） (2023-09-14T13:05:20Z) - Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
論文 参考訳（メタデータ） (2023-05-29T15:25:00Z) - DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of
GPT-Generated Text [82.5469544192645]
ダイバージェントN-Gram解析(DNA-GPT)と呼ばれる新しいトレーニング不要検出手法を提案する。
元の部分と新しい部分の違いをN-gram解析により解析することにより,機械生成テキストと人文テキストの分布に顕著な相違が明らかになった。
その結果, ゼロショットアプローチは, 人文とGPT生成テキストの区別において, 最先端の性能を示すことがわかった。
論文 参考訳（メタデータ） (2023-05-27T03:58:29Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - GPT Paternity Test: GPT Generated Text Detection with GPT Genetic
Inheritance [89.97709633381172]
GPTパタニティテスト(GPT-Pat)を導入する。
原文と生成された再回答テキストとの類似性を比較することにより、本文が機械生成されているか否かを判定することができる。
提案手法は4つの一般化テストセットで平均94.57%の精度を達成し, 最先端のRoBERTa法を12.34%上回った。
論文 参考訳（メタデータ） (2023-05-21T17:26:16Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。