論文の概要: Does Human Collaboration Enhance the Accuracy of Identifying LLM-Generated Deepfake Texts?

• arxiv url: http://arxiv.org/abs/2304.01002v3
• Date: Mon, 9 Oct 2023 21:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 13:55:46.659745
• Title: Does Human Collaboration Enhance the Accuracy of Identifying LLM-Generated Deepfake Texts?
• Title（参考訳）: 人間のコラボレーションはllm生成のディープフェイクテキストの識別精度を高めるか?
• Authors: Adaku Uchendu, Jooyoung Lee, Hua Shen, Thai Le, Ting-Hao 'Kenneth' Huang, Dongwon Lee
• Abstract要約: 人間同士のコラボレーションは、ディープフェイクテキストの検出を改善する可能性がある。 ディープフェイクテキストの最も強い指標は、一貫性と一貫性の欠如である。
• 参考スコア（独自算出の注目度）: 27.700129124128747
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Advances in Large Language Models (e.g., GPT-4, LLaMA) have improved the generation of coherent sentences resembling human writing on a large scale, resulting in the creation of so-called deepfake texts. However, this progress poses security and privacy concerns, necessitating effective solutions for distinguishing deepfake texts from human-written ones. Although prior works studied humans' ability to detect deepfake texts, none has examined whether "collaboration" among humans improves the detection of deepfake texts. In this study, to address this gap of understanding on deepfake texts, we conducted experiments with two groups: (1) nonexpert individuals from the AMT platform and (2) writing experts from the Upwork platform. The results demonstrate that collaboration among humans can potentially improve the detection of deepfake texts for both groups, increasing detection accuracies by 6.36% for non-experts and 12.76% for experts, respectively, compared to individuals' detection accuracies. We further analyze the explanations that humans used for detecting a piece of text as deepfake text, and find that the strongest indicator of deepfake texts is their lack of coherence and consistency. Our study provides useful insights for future tools and framework designs to facilitate the collaborative human detection of deepfake texts. The experiment datasets and AMT implementations are available at: https://github.com/huashen218/llm-deepfake-human-study.git
• Abstract（参考訳）: 大きな言語モデル(gpt-4、llamaなど)の進歩は、人間の文章に似たコヒーレント文の生成を大規模に改善し、いわゆるディープフェイクテキストの作成に繋がった。 しかし、この進歩はセキュリティとプライバシーの懸念をもたらし、ディープフェイクテキストと人間の書いたテキストを区別するための効果的なソリューションを必要としている。 先行研究は、人間のディープフェイクテキストの検出能力を研究したが、人間の「コラボレーション」がディープフェイクテキストの検出を改善するかどうかについては、誰も調査していない。 本研究では,深層文の理解のギャップに対処するため,(1)AMTプラットフォームからの非専門的個人と(2)Upworkプラットフォームからのエキスパートの執筆という2つのグループで実験を行った。 その結果、人間同士のコラボレーションによって、両方のグループのディープフェイクテキストの検出が改善される可能性が示唆され、非専門家では6.36%、専門家では12.76%増加した。 さらに、人間がディープフェイクテキストとしてテキストを検出するのに使った説明を分析し、ディープフェイクテキストの最も強い指標は一貫性と一貫性の欠如であることを示す。 本研究は,deepfakeテキストの協調的検出を容易にするために,今後のツールやフレームワーク設計に有用な知見を提供する。 実験データセットとAMTの実装は、https://github.com/huashen218/llm-deepfake- Human-study.gitで利用可能である。

関連論文リスト

• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には、コンピュータビジョンに適応したDETRのような検出モデルと組み合わせて、微調整の汎用LLMを用いて、テキスト内で人工的に生成された間隔をローカライズする。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions [13.077729125193434]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:23:10Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text [23.622347443796183]
  我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。 この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-24T06:40:25Z)
• Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
  トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。 我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。 本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2022-10-17T20:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。