論文の概要: Evading AI-Generated Content Detectors using Homoglyphs

• arxiv url: http://arxiv.org/abs/2406.11239v2
• Date: Wed, 28 Aug 2024 11:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:38:57.903611
• Title: Evading AI-Generated Content Detectors using Homoglyphs
• Title（参考訳）: ホモグリーフを用いたAI生成コンテンツ検出器の展開
• Authors: Aldan Creo, Shushanta Pudasaini,
• Abstract要約: ホモグリフベースの攻撃は、最先端のAI生成テキスト検出器を効果的に回避することができる。 以上の結果から,ホモグリフによる攻撃が,最先端の検出器を効果的に回避できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of large language models (LLMs) has enabled the generation of text that increasingly exhibits human-like characteristics. As the detection of such content is of significant importance, numerous studies have been conducted with the aim of developing reliable AI-generated text detectors. These detectors have demonstrated promising results on test data, but recent research has revealed that they can be circumvented by employing different techniques. In this paper, we present homoglyph-based attacks ($a \rightarrow {\alpha}$) as a means of circumventing existing detectors. A comprehensive evaluation was conducted to assess the effectiveness of these attacks on seven detectors, including ArguGPT, Binoculars, DetectGPT, Fast-DetectGPT, Ghostbuster, OpenAI's detector, and watermarking techniques, on five different datasets. Our findings demonstrate that homoglyph-based attacks can effectively circumvent state-of-the-art detectors, leading them to classify all texts as either AI-generated or human-written (decreasing the average Matthews Correlation Coefficient from 0.64 to -0.01). We then examine the effectiveness of these attacks by analyzing how homoglyphs impact different families of detectors. Finally, we discuss the implications of these findings and potential defenses against such attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現により、人間のような特徴がますます現れているテキストの生成が可能になった。 このような内容の検出は重要であり、信頼性の高いAI生成テキスト検出器の開発を目的として多くの研究がなされている。 これらの検出器は、試験データに対して有望な結果を示したが、最近の研究では、異なる技術を用いることで回避できることが判明した。 本稿では,既存の検出器を回避する手段として,ホモグリフによる攻撃(a \rightarrow {\alpha}$)を提案する。 ArguGPT, Binoculars, DetectGPT, Fast-DetectGPT, Ghostbuster, OpenAIの検出器, 透かし技術を含む7つの検出器に対する攻撃の有効性を評価するための総合的な評価を行った。 その結果、ホモグリフによる攻撃は、最先端の検知を効果的に回避し、すべてのテキストをAI生成か人書きに分類できる(平均マシューズ相関係数を0.64から0.01に低下させる)。 次に、ホモグリフが検出器の異なる族にどのように影響するかを分析することによって、これらの攻撃の有効性を検討する。 最後に、これらの発見がもたらす意味と、そのような攻撃に対する潜在的防御について論じる。

関連論文リスト

• Adversarial Attacks on AI-Generated Text Detection Models: A Token Probability-Based Approach Using Embeddings [14.150011713654331]
  本研究では,Fast-DetectGPTなどの検出モデルに対する新たなテキスト逆攻撃を提案する。 この手法では、AI生成したテキストの再構築を目的として、データ摂動の埋め込みモデルを用いて、テキストの真の起源を検出する可能性を低減する。
  論文  参考訳（メタデータ） (2025-01-31T10:06:27Z)
• A Practical Examination of AI-Generated Text Detectors for Large Language Models [25.919278893876193]
  機械生成コンテンツ検出器は、様々な条件や言語モデルからそのようなテキストを識別する。 本稿では、これらの主張を、これらの検出器がこれまで遭遇していなかった領域、データセット、モデルにおいて、いくつかの一般的な検出器を評価することによって、批判的に評価する。
  論文  参考訳（メタデータ） (2024-12-06T15:56:11Z)
• The Impact of Prompts on Zero-Shot Detection of AI-Generated Text [4.337364406035291]
  チャットベースのアプリケーションでは、ユーザーは一般的にAI生成テキストのプロンプトを入力し、利用する。 本稿では,AI生成テキストの検出精度に対するプロンプトの影響を実証的に分析するための評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T11:33:34Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples [44.118047780553006]
  OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。 実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。 この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
  論文  参考訳（メタデータ） (2023-07-21T17:40:47Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。