論文の概要: Deepfake Text Detection in the Wild
- arxiv url: http://arxiv.org/abs/2305.13242v1
- Date: Mon, 22 May 2023 17:13:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 14:09:12.861937
- Title: Deepfake Text Detection in the Wild
- Title(参考訳): 野生におけるディープフェイクテキストの検出
- Authors: Yafu Li, Qintong Li, Leyang Cui, Wei Bi, Longyue Wang, Linyi Yang,
Shuming Shi and Yue Zhang
- Abstract要約: 近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
- 参考スコア(独自算出の注目度): 51.07597090941853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models have enabled them to reach a level
of text generation comparable to that of humans. These models show powerful
capabilities across a wide range of content, including news article writing,
story generation, and scientific writing. Such capability further narrows the
gap between human-authored and machine-generated texts, highlighting the
importance of deepfake text detection to avoid potential risks such as fake
news propagation and plagiarism. However, previous work has been limited in
that they testify methods on testbed of specific domains or certain language
models. In practical scenarios, the detector faces texts from various domains
or LLMs without knowing their sources. To this end, we build a wild testbed by
gathering texts from various human writings and deepfake texts generated by
different LLMs. Human annotators are only slightly better than random guessing
at identifying machine-generated texts. Empirical results on automatic
detection methods further showcase the challenges of deepfake text detection in
a wild testbed. In addition, out-of-distribution poses a greater challenge for
a detector to be employed in realistic application scenarios. We release our
resources at https://github.com/yafuly/DeepfakeTextDetect.
- Abstract(参考訳): 近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
この能力は、偽ニュースの伝播や盗作などの潜在的なリスクを避けるために、ディープフェイクテキスト検出の重要性を強調し、人間によるテキストと機械によるテキストのギャップをさらに狭める。
しかしながら、特定のドメインや特定の言語モデルのテストベッドでメソッドをテストするという点で、以前の作業は制限されている。
実際のシナリオでは、検出器はソースを知らずに様々なドメインやLLMのテキストに直面する。
この目的のために、さまざまな人間の文章や異なるllmで生成されたディープフェイクテキストからテキストを収集し、ワイルドなテストベッドを構築する。
人間のアノテーションは、機械生成テキストの特定においてランダムな推測よりもわずかに優れている。
自動検出手法の実証結果は、野生の試験場におけるディープフェイクテキスト検出の課題をさらに示している。
さらに、ディストリビューションのアウト・オブ・ディストリビューションは、現実的なアプリケーションシナリオにおいて、検出器が採用される上で大きな課題となる。
私たちはリソースをhttps://github.com/yafuly/DeepfakeTextDetectでリリースします。
関連論文リスト
- Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳(メタデータ) (2023-12-20T10:53:53Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳(メタデータ) (2023-11-28T06:51:28Z) - Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
論文 参考訳(メタデータ) (2023-05-29T15:25:00Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Does Human Collaboration Enhance the Accuracy of Identifying
LLM-Generated Deepfake Texts? [27.700129124128747]
人間同士のコラボレーションは、ディープフェイクテキストの検出を改善する可能性がある。
ディープフェイクテキストの最も強い指標は、一貫性と一貫性の欠如である。
論文 参考訳(メタデータ) (2023-04-03T14:06:47Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。
我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。
本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
論文 参考訳(メタデータ) (2022-10-17T20:40:14Z) - RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text [25.80571756447762]
われわれはReal or Fake Text (RoFT)を紹介した。
本稿では,RoFTを用いたニュース記事の検出結果について述べる。
論文 参考訳(メタデータ) (2020-10-06T22:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。