論文の概要: Does Human Collaboration Enhance the Accuracy of Identifying
LLM-Generated Deepfake Texts?
- arxiv url: http://arxiv.org/abs/2304.01002v3
- Date: Mon, 9 Oct 2023 21:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 13:55:46.659745
- Title: Does Human Collaboration Enhance the Accuracy of Identifying
LLM-Generated Deepfake Texts?
- Title（参考訳）: 人間のコラボレーションはllm生成のディープフェイクテキストの識別精度を高めるか?
- Authors: Adaku Uchendu, Jooyoung Lee, Hua Shen, Thai Le, Ting-Hao 'Kenneth'
Huang, Dongwon Lee
- Abstract要約: 人間同士のコラボレーションは、ディープフェイクテキストの検出を改善する可能性がある。
ディープフェイクテキストの最も強い指標は、一貫性と一貫性の欠如である。
- 参考スコア（独自算出の注目度）: 27.700129124128747
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Advances in Large Language Models (e.g., GPT-4, LLaMA) have improved the
generation of coherent sentences resembling human writing on a large scale,
resulting in the creation of so-called deepfake texts. However, this progress
poses security and privacy concerns, necessitating effective solutions for
distinguishing deepfake texts from human-written ones. Although prior works
studied humans' ability to detect deepfake texts, none has examined whether
"collaboration" among humans improves the detection of deepfake texts. In this
study, to address this gap of understanding on deepfake texts, we conducted
experiments with two groups: (1) nonexpert individuals from the AMT platform
and (2) writing experts from the Upwork platform. The results demonstrate that
collaboration among humans can potentially improve the detection of deepfake
texts for both groups, increasing detection accuracies by 6.36% for non-experts
and 12.76% for experts, respectively, compared to individuals' detection
accuracies. We further analyze the explanations that humans used for detecting
a piece of text as deepfake text, and find that the strongest indicator of
deepfake texts is their lack of coherence and consistency. Our study provides
useful insights for future tools and framework designs to facilitate the
collaborative human detection of deepfake texts. The experiment datasets and
AMT implementations are available at:
https://github.com/huashen218/llm-deepfake-human-study.git
- Abstract（参考訳）: 大きな言語モデル(gpt-4、llamaなど)の進歩は、人間の文章に似たコヒーレント文の生成を大規模に改善し、いわゆるディープフェイクテキストの作成に繋がった。
しかし、この進歩はセキュリティとプライバシーの懸念をもたらし、ディープフェイクテキストと人間の書いたテキストを区別するための効果的なソリューションを必要としている。
先行研究は、人間のディープフェイクテキストの検出能力を研究したが、人間の「コラボレーション」がディープフェイクテキストの検出を改善するかどうかについては、誰も調査していない。
本研究では,深層文の理解のギャップに対処するため,(1)AMTプラットフォームからの非専門的個人と(2)Upworkプラットフォームからのエキスパートの執筆という2つのグループで実験を行った。
その結果、人間同士のコラボレーションによって、両方のグループのディープフェイクテキストの検出が改善される可能性が示唆され、非専門家では6.36%、専門家では12.76%増加した。
さらに、人間がディープフェイクテキストとしてテキストを検出するのに使った説明を分析し、ディープフェイクテキストの最も強い指標は一貫性と一貫性の欠如であることを示す。
本研究は,deepfakeテキストの協調的検出を容易にするために,今後のツールやフレームワーク設計に有用な知見を提供する。
実験データセットとAMTの実装は、https://github.com/huashen218/llm-deepfake- Human-study.gitで利用可能である。
関連論文リスト
- ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。
本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。
以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-02-17T01:15:07Z) - Beyond checkmate: exploring the creative chokepoints in AI text [5.427864472511595]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)に革命をもたらした
本研究では,テキストセグメント間の人間のテキストとAIテキストの相違について検討した。
我々の研究は、人間とAIのテキストの区別の複雑さに光を当て、テキストの検出と理解のための新しい洞察を提供する。
論文 参考訳（メタデータ） (2025-01-31T16:57:01Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳（メタデータ） (2023-11-28T06:51:28Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。
我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。
本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
論文 参考訳（メタデータ） (2022-10-17T20:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。