論文の概要: DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability
Curvature
- arxiv url: http://arxiv.org/abs/2301.11305v1
- Date: Thu, 26 Jan 2023 18:44:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 12:49:20.809775
- Title: DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability
Curvature
- Title(参考訳): DetectGPT:確率曲線を用いたゼロショットマシン生成テキスト検出
- Authors: Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D.
Manning, Chelsea Finn
- Abstract要約: 学生は、大きな言語モデル(LLM)を使用して、書面の課題を完成させることができ、インストラクターは生徒の学習を正確に評価することができない。
まず、LLMからサンプリングされたテキストがモデルのログ確率関数の負の曲率領域を占める傾向があることを示す。
次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
- 参考スコア(独自算出の注目度): 143.5381108333212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fluency and factual knowledge of large language models (LLMs) heightens
the need for corresponding systems to detect whether a piece of text is
machine-written. For example, students may use LLMs to complete written
assignments, leaving instructors unable to accurately assess student learning.
In this paper, we first demonstrate that text sampled from an LLM tends to
occupy negative curvature regions of the model's log probability function.
Leveraging this observation, we then define a new curvature-based criterion for
judging if a passage is generated from a given LLM. This approach, which we
call DetectGPT, does not require training a separate classifier, collecting a
dataset of real or generated passages, or explicitly watermarking generated
text. It uses only log probabilities computed by the model of interest and
random perturbations of the passage from another generic pre-trained language
model (e.g, T5). We find DetectGPT is more discriminative than existing
zero-shot methods for model sample detection, notably improving detection of
fake news articles generated by 20B parameter GPT-NeoX from 0.81 AUROC for the
strongest zero-shot baseline to 0.95 AUROC for DetectGPT. See
https://ericmitchell.ai/detectgpt for code, data, and other project
information.
- Abstract(参考訳): 大規模言語モデル(llm)の流動性と事実知識は、テキストが機械書きであるかどうかを検出するための対応するシステムの必要性を高める。
例えば、学生はllmを使って文章の割り当てを完了し、インストラクターは学生の学習を正確に評価できない。
本稿では, LLM からサンプリングしたテキストが, モデルの対数確率関数の負の曲率領域を占める傾向があることを示す。
この観察を生かして、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
このアプローチは detectiongpt と呼ばれ、個別の分類器を訓練したり、実文や生成文のデータセットを収集したり、生成されたテキストを明示的にウォーターマークしたりする必要がありません。
興味のモデルと他の一般的な事前訓練された言語モデル(例えばT5)からのパスのランダムな摂動によって計算されるログ確率のみを使用する。
本研究では,20Bパラメータ GPT-NeoX による偽ニュース記事の検出を,最強ゼロショットベースラインの 0.81 AUROC から DetectGPT の 0.95 AUROC に改善した。
コード、データ、その他のプロジェクト情報についてはhttps://ericmitchell.ai/detectgptを参照してください。
関連論文リスト
- Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated
Text [102.51430575139572]
密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。
本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。
Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
論文 参考訳(メタデータ) (2024-01-22T16:09:47Z) - Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text
via Conditional Probability Curvature [36.31281981509264]
大規模言語モデル(LLM)は、流動的でコジェントなコンテンツを生成する能力を示している。
信頼できるAIシステムを構築するためには、マシン生成コンテンツと人間によるコンテンツとを区別することが不可欠である。
Fast-DetectGPTは、ディテクターGPTの摂動ステップを、より効率的なサンプリングステップで置き換える最適化されたゼロショット検出器である。
論文 参考訳(メタデータ) (2023-10-08T11:41:28Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳(メタデータ) (2023-10-08T10:08:21Z) - Efficient Detection of LLM-generated Texts with a Bayesian Surrogate
Model [9.878882790700786]
ベイジアンサロゲートモデルを導入し、ベイジアン不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルへのスコアを補間する。
実験結果から,提案手法はクエリコストの低い既存手法よりも有意に優れていることが示された。
論文 参考訳(メタデータ) (2023-05-26T04:23:10Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Is it feasible to detect FLOSS version release events from textual
messages? A case study on Stack Overflow [0.0]
本研究は,Stack Overflow Q&Aプラットフォームからのメッセージのサンプルを用いて,テキストデータのマイクロイベント検出の実現可能性について検討した。
格子探索手法を用いてパラメータを最適化した3つの異なる推定器を用いて,マイクロイベントの検出のためのパイプラインを構築した。
実験では,マイクロイベントの前後における話題の分布や感情の特徴の変化について検討した。
論文 参考訳(メタデータ) (2020-03-30T16:55:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。