論文の概要: Understanding Individual and Team-based Human Factors in Detecting
Deepfake Texts
- arxiv url: http://arxiv.org/abs/2304.01002v1
- Date: Mon, 3 Apr 2023 14:06:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:01:48.213566
- Title: Understanding Individual and Team-based Human Factors in Detecting
Deepfake Texts
- Title(参考訳): ディープフェイクテキストの検出における個人およびチームに基づくヒューマンファクターの理解
- Authors: Adaku Uchendu, Jooyoung Lee, Hua Shen, Thai Le, Ting-Hao 'Kenneth'
Huang, Dongwon Lee
- Abstract要約: スキルレベルやコラボレーションなどの要因が、人間がディープフェイクテキストを識別する方法に与える影響について検討する。
我々の研究は、ディープフェイクテキストの協調的検出を改善するために、将来のツールやフレームワークの設計に役立てることができるだろう。
- 参考スコア(独自算出の注目度): 26.000906180199763
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, Natural Language Generation (NLG) techniques in AI (e.g.,
T5, GPT-3, ChatGPT) have shown a massive improvement and are now capable of
generating human-like long coherent texts at scale, yielding so-called deepfake
texts. This advancement, despite their benefits, can also cause security and
privacy issues (e.g., plagiarism, identity obfuscation, disinformation attack).
As such, it has become critically important to develop effective, practical,
and scalable solutions to differentiate deepfake texts from human-written
texts. Toward this challenge, in this work, we investigate how factors such as
skill levels and collaborations impact how humans identify deepfake texts,
studying three research questions: (1) do collaborative teams detect deepfake
texts better than individuals? (2) do expert humans detect deepfake texts
better than non-expert humans? (3) what are the factors that maximize the
detection performance of humans? We implement these questions on two platforms:
(1) non-expert humans or asynchronous teams on Amazon Mechanical Turk (AMT) and
(2) expert humans or synchronous teams on the Upwork. By analyzing the
detection performance and the factors that affected performance, some of our
key findings are: (1) expert humans detect deepfake texts significantly better
than non-expert humans, (2) synchronous teams on the Upwork detect deepfake
texts significantly better than individuals, while asynchronous teams on the
AMT detect deepfake texts weakly better than individuals, and (3) among various
error categories, examining coherence and consistency in texts is useful in
detecting deepfake texts. In conclusion, our work could inform the design of
future tools/framework to improve collaborative human detection of deepfake
texts.
- Abstract(参考訳): 近年、AIにおける自然言語生成(NLG)技術(T5、GPT-3、ChatGPT)は大幅に改善され、人間のような長いコヒーレントテキストを大規模に生成できるようになり、いわゆるディープフェイクテキストを生み出している。
この進歩は、その利益にもかかわらず、セキュリティとプライバシの問題(例えば、盗作、アイデンティティの難読化、偽情報攻撃)を引き起こす可能性がある。
そのため、人文テキストとディープフェイクテキストを区別するために、効果的で実用的でスケーラブルなソリューションを開発することが重要になっている。
この課題に向けて、本研究では、人間がディープフェイクテキストを識別する方法に、スキルレベルやコラボレーションなどの要因がどう影響するかを調査し、(1)協調チームが個人よりもディープフェイクテキストをよりよく検出できるか、という3つの研究課題を研究する。
2) 専門家は非専門家よりもディープフェイクテキストを検出できるのか?
(3)人間の検出性能を最大化する要因は何か。
我々は,(1) amazon mechanical turk (amt) 上の非専門家の人間または非同期のチーム,(2)専門家の人間または同期のチーム,という2つのプラットフォーム上でこれらの質問を実装した。
By analyzing the detection performance and the factors that affected performance, some of our key findings are: (1) expert humans detect deepfake texts significantly better than non-expert humans, (2) synchronous teams on the Upwork detect deepfake texts significantly better than individuals, while asynchronous teams on the AMT detect deepfake texts weakly better than individuals, and (3) among various error categories, examining coherence and consistency in texts is useful in detecting deepfake texts.
結論として,我々の研究は,ディープフェイクテキストの協調的人間検出を改善するための,今後のツールやフレームワークの設計に影響を及ぼす可能性がある。
関連論文リスト
- Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳(メタデータ) (2023-11-28T06:51:28Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T01:23:10Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Real or Fake Text?: Investigating Human Ability to Detect Boundaries
Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。
この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文 参考訳(メタデータ) (2022-12-24T06:40:25Z) - Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。
我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。
本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
論文 参考訳(メタデータ) (2022-10-17T20:40:14Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳(メタデータ) (2020-10-15T02:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。