論文の概要: Understanding Individual and Team-based Human Factors in Detecting
Deepfake Texts
- arxiv url: http://arxiv.org/abs/2304.01002v1
- Date: Mon, 3 Apr 2023 14:06:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:01:48.213566
- Title: Understanding Individual and Team-based Human Factors in Detecting
Deepfake Texts
- Title（参考訳）: ディープフェイクテキストの検出における個人およびチームに基づくヒューマンファクターの理解
- Authors: Adaku Uchendu, Jooyoung Lee, Hua Shen, Thai Le, Ting-Hao 'Kenneth'
Huang, Dongwon Lee
- Abstract要約: スキルレベルやコラボレーションなどの要因が、人間がディープフェイクテキストを識別する方法に与える影響について検討する。
我々の研究は、ディープフェイクテキストの協調的検出を改善するために、将来のツールやフレームワークの設計に役立てることができるだろう。
- 参考スコア（独自算出の注目度）: 26.000906180199763
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, Natural Language Generation (NLG) techniques in AI (e.g.,
T5, GPT-3, ChatGPT) have shown a massive improvement and are now capable of
generating human-like long coherent texts at scale, yielding so-called deepfake
texts. This advancement, despite their benefits, can also cause security and
privacy issues (e.g., plagiarism, identity obfuscation, disinformation attack).
As such, it has become critically important to develop effective, practical,
and scalable solutions to differentiate deepfake texts from human-written
texts. Toward this challenge, in this work, we investigate how factors such as
skill levels and collaborations impact how humans identify deepfake texts,
studying three research questions: (1) do collaborative teams detect deepfake
texts better than individuals? (2) do expert humans detect deepfake texts
better than non-expert humans? (3) what are the factors that maximize the
detection performance of humans? We implement these questions on two platforms:
(1) non-expert humans or asynchronous teams on Amazon Mechanical Turk (AMT) and
(2) expert humans or synchronous teams on the Upwork. By analyzing the
detection performance and the factors that affected performance, some of our
key findings are: (1) expert humans detect deepfake texts significantly better
than non-expert humans, (2) synchronous teams on the Upwork detect deepfake
texts significantly better than individuals, while asynchronous teams on the
AMT detect deepfake texts weakly better than individuals, and (3) among various
error categories, examining coherence and consistency in texts is useful in
detecting deepfake texts. In conclusion, our work could inform the design of
future tools/framework to improve collaborative human detection of deepfake
texts.
- Abstract（参考訳）: 近年、AIにおける自然言語生成(NLG)技術(T5、GPT-3、ChatGPT)は大幅に改善され、人間のような長いコヒーレントテキストを大規模に生成できるようになり、いわゆるディープフェイクテキストを生み出している。
この進歩は、その利益にもかかわらず、セキュリティとプライバシの問題(例えば、盗作、アイデンティティの難読化、偽情報攻撃)を引き起こす可能性がある。
そのため、人文テキストとディープフェイクテキストを区別するために、効果的で実用的でスケーラブルなソリューションを開発することが重要になっている。
この課題に向けて、本研究では、人間がディープフェイクテキストを識別する方法に、スキルレベルやコラボレーションなどの要因がどう影響するかを調査し、(1)協調チームが個人よりもディープフェイクテキストをよりよく検出できるか、という3つの研究課題を研究する。
2) 専門家は非専門家よりもディープフェイクテキストを検出できるのか?
(3)人間の検出性能を最大化する要因は何か。
我々は,(1) amazon mechanical turk (amt) 上の非専門家の人間または非同期のチーム,(2)専門家の人間または同期のチーム,という2つのプラットフォーム上でこれらの質問を実装した。
By analyzing the detection performance and the factors that affected performance, some of our key findings are: (1) expert humans detect deepfake texts significantly better than non-expert humans, (2) synchronous teams on the Upwork detect deepfake texts significantly better than individuals, while asynchronous teams on the AMT detect deepfake texts weakly better than individuals, and (3) among various error categories, examining coherence and consistency in texts is useful in detecting deepfake texts.
結論として,我々の研究は,ディープフェイクテキストの協調的人間検出を改善するための,今後のツールやフレームワークの設計に影響を及ぼす可能性がある。
関連論文リスト
- Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。
我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
論文 参考訳（メタデータ） (2024-05-13T05:48:35Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳（メタデータ） (2023-11-28T06:51:28Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:23:10Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Real or Fake Text?: Investigating Human Ability to Detect Boundaries
Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。
この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文 参考訳（メタデータ） (2022-12-24T06:40:25Z) - Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。
我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。
本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
論文 参考訳（メタデータ） (2022-10-17T20:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。