論文の概要: Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing

• arxiv url: http://arxiv.org/abs/2502.15666v1
• Date: Fri, 21 Feb 2025 18:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:38.148999
• Title: Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing
• Title（参考訳）: ほぼAI、ほぼ人間:AIで書かれた文章を検知する挑戦
• Authors: Shoumik Saha, Soheil Feizi,
• Abstract要約: 誤分類は、偽の盗作行為の告発や、オンラインコンテンツにおけるAIの普及に関する誤解を招く可能性がある。 我々は、AI-Polished-Text Evaluationデータセットを用いて、最先端の11のAIテキスト検出を体系的に評価した。 我々の発見によると、検出器は、最小限に磨き上げられたテキストをAI生成と誤分類し、AIの関与度を区別し、古いモデルと小さなモデルに偏見を示す。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License:
• Abstract: The growing use of large language models (LLMs) for text generation has led to widespread concerns about AI-generated content detection. However, an overlooked challenge is AI-polished text, where human-written content undergoes subtle refinements using AI tools. This raises a critical question: should minimally polished text be classified as AI-generated? Misclassification can lead to false plagiarism accusations and misleading claims about AI prevalence in online content. In this study, we systematically evaluate eleven state-of-the-art AI-text detectors using our AI-Polished-Text Evaluation (APT-Eval) dataset, which contains $11.7K$ samples refined at varying AI-involvement levels. Our findings reveal that detectors frequently misclassify even minimally polished text as AI-generated, struggle to differentiate between degrees of AI involvement, and exhibit biases against older and smaller models. These limitations highlight the urgent need for more nuanced detection methodologies.
• Abstract（参考訳）: テキスト生成における大規模言語モデル(LLM)の利用が増加し、AI生成コンテンツ検出に対する懸念が高まっている。 しかし、見落とされがちな課題は、人間が書いたコンテンツがAIツールを使って微妙に洗練される、AIによるテキストだ。 最小限の洗練されたテキストはAIが生成するテキストに分類されるべきか? 誤分類は、偽の盗作行為の告発や、オンラインコンテンツにおけるAIの普及に関する誤解を招く可能性がある。 本研究では,AI-Polished-Text Evaluation (APT-Eval)データセットを用いて,最先端のAIテキスト検出装置11基を系統的に評価する。 我々の発見によると、検出器は、最小限に磨き上げられたテキストをAI生成と誤分類し、AIの関与度を区別し、古いモデルと小さなモデルに偏見を示す。 これらの制限は、よりニュアンスな検出方法の緊急の必要性を浮き彫りにする。

関連論文リスト

• DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
  既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。 偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
  論文  参考訳（メタデータ） (2025-01-06T23:43:49Z)
• Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Raidar: geneRative AI Detection viA Rewriting [42.477151044325595]
  大規模な言語モデル(LLM)は、書き直しのタスクを行う場合、AI生成テキストよりも人間の書き起こしテキストを変更する傾向にある。 テキストの書き直しを LLM に促し,出力の編集距離を計算することで,AI 生成コンテンツを検出する手法を提案する。 この結果から,機械自体のレンズを通した機械生成テキストのユニークなインプリントが明らかになった。
  論文  参考訳（メタデータ） (2024-01-23T18:57:53Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• Who Said That? Benchmarking Social Media AI Detection [12.862865254507177]
  本稿では、実ソーシャルメディアプラットフォームにおけるAIテキスト検出モデルの能力を評価するために開発された新しいベンチマークであるSAID(Social media AI Detection)を紹介する。 ZhihuやQuoraといった人気のソーシャルメディアプラットフォームから、AI生成テキストが組み込まれている。 Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
  論文  参考訳（メタデータ） (2023-10-12T11:35:24Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Is This Abstract Generated by AI? A Research for the Gap between AI-generated Scientific Text and Human-written Scientific Text [13.438933219811188]
  本稿では,AIが生み出す科学内容と人間による文章とのギャップについて検討する。 我々は、AI生成科学テキストと人文科学テキストの間に、文章スタイルのギャップがあることを発見した。
  論文  参考訳（メタデータ） (2023-01-24T04:23:20Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。