論文の概要: People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

• arxiv url: http://arxiv.org/abs/2501.15654v1
• Date: Sun, 26 Jan 2025 19:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:38.032723
• Title: People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text
• Title（参考訳）: タスクを書くために頻繁にChatGPTを使う人は、AI生成テキストの正確で堅牢な検出方法である
• Authors: Jenna Russell, Marzena Karpinska, Mohit Iyyer,
• Abstract要約: 私たちは、300のノンフィクションの英語記事を読むために注釈を雇い、それを人書きまたはAI生成とラベル付けします。 実験の結果,AI生成テキストの検出において,LLMを頻繁に使用するアノテータが優れていることがわかった。 注釈付きデータセットとコードを公開し、AI生成テキストの人的および自動検出に関する将来の研究を刺激します。
• 参考スコア（独自算出の注目度）: 37.36534911201806
• License:
• Abstract: In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.
• Abstract（参考訳）: 本稿では,商業用LCM(GPT-4o,Claude,o1)が生成するテキストを人間がいかに検出できるかを検討する。 我々は、300のノンフィクションの英語記事を読むために注釈を雇い、それらを人書きまたはAI生成とラベル付けし、その決定のために段落の解説を提供する。 我々の実験では、AI生成テキストの検出にLLMを頻繁に使用するアノテータが、特別なトレーニングやフィードバックを伴わずとも、優れたタスクを記述できることが示されている。 実際、これらの5つの「専門家」アノテータの過半数は300項目中1項目のみを誤分類しており、パラフレージングやヒューマライゼーションのような回避戦術があっても、最も商業的、オープンソースの検出器よりもはるかに優れています。 専門家のフリーフォームの説明の質的な分析は、それらが特定の語彙の手がかり('AI vocabulary')に強く依存している一方で、自動検知器の評価が難しいテキスト(例えば、形式性、独創性、明快性)のより複雑な現象を拾い上げていることを示している。 注釈付きデータセットとコードを公開し、AI生成テキストの人的および自動検出に関する将来の研究を刺激します。

関連論文リスト

• Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
  本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。 CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。 これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
  論文  参考訳（メタデータ） (2025-02-18T07:49:31Z)
• DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
  既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。 偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
  論文  参考訳（メタデータ） (2025-01-06T23:43:49Z)
• Detecting Machine-Generated Texts: Not Just "AI vs Humans" and Explainability is Complicated [8.77447722226144]
  そこで本研究では,新たな3次テキスト分類手法を導入し,いずれの情報源にも起因する可能性のあるテキストの「未決定」カテゴリを追加する。 この研究は、単に分類から機械が生成したテキストの説明へとパラダイムをシフトさせ、ユーザーに対して明確で理解可能な説明を提供するための検出器の必要性を強調した。
  論文  参考訳（メタデータ） (2024-06-26T11:11:47Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。