論文の概要: Stress-testing Machine Generated Text Detection: Shifting Language Models Writing Style to Fool Detectors

• arxiv url: http://arxiv.org/abs/2505.24523v1
• Date: Fri, 30 May 2025 12:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.943933
• Title: Stress-testing Machine Generated Text Detection: Shifting Language Models Writing Style to Fool Detectors
• Title（参考訳）: ストレステストマシン生成テキスト検出:言語モデルからフール検出器への書き起こしスタイルのシフト
• Authors: Andrea Pedrotti, Michele Papucci, Cristiano Ciaccio, Alessio Miaschi, Giovanni Puccetti, Felice Dell'Orletta, Andrea Esuli,
• Abstract要約: 本稿では,最新のMGT検出器の言語情報による敵攻撃に対するレジリエンスをテストするパイプラインを提案する。 我々は、MGTスタイルを人文テキスト(HWT)にシフトするために、言語モデルを微調整する。 これは検出器が構造的な手がかりに頼っていることを悪用し、新しい世代を検知することがより困難になる。
• 参考スコア（独自算出の注目度）: 4.7713095161046555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Generative AI and Large Language Models (LLMs) have enabled the creation of highly realistic synthetic content, raising concerns about the potential for malicious use, such as misinformation and manipulation. Moreover, detecting Machine-Generated Text (MGT) remains challenging due to the lack of robust benchmarks that assess generalization to real-world scenarios. In this work, we present a pipeline to test the resilience of state-of-the-art MGT detectors (e.g., Mage, Radar, LLM-DetectAIve) to linguistically informed adversarial attacks. To challenge the detectors, we fine-tune language models using Direct Preference Optimization (DPO) to shift the MGT style toward human-written text (HWT). This exploits the detectors' reliance on stylistic clues, making new generations more challenging to detect. Additionally, we analyze the linguistic shifts induced by the alignment and which features are used by detectors to detect MGT texts. Our results show that detectors can be easily fooled with relatively few examples, resulting in a significant drop in detection performance. This highlights the importance of improving detection methods and making them robust to unseen in-domain texts.
• Abstract（参考訳）: ジェネレーティブAIと大規模言語モデル(LLM)の最近の進歩は、非常に現実的な合成コンテンツの作成を可能にし、誤情報や操作などの悪意ある使用の可能性への懸念を高めている。 さらに、実世界のシナリオへの一般化を評価する堅牢なベンチマークが欠如しているため、MGT(Machine-Generated Text)の検出は依然として困難である。 本研究では,最新のMGT検出器(例えば,Mage,Radar,LLM-DetectAIve)の言語情報による敵攻撃に対する弾力性をテストするパイプラインを提案する。 検出に挑戦するため、直接優先度最適化(DPO)を用いて言語モデルを微調整し、MGTスタイルを人文テキスト(HWT)にシフトする。 これは検出器が構造的な手がかりに頼っていることを悪用し、新しい世代を検知することがより困難になる。 さらに,アライメントによって引き起こされる言語変化と,検出器がMGTテキストを検出するために使用する特徴を分析した。 その結果,検出器は比較的少数の例で簡単に騙すことができ,検出性能は著しく低下することがわかった。 このことは、検出方法を改善し、ドメイン内の未確認テキストに対して堅牢にすることの重要性を強調している。

関連論文リスト

• Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [65.27124213266491]
  テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。 CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。 我々の理論的分析は、提案された攻撃の優越性を示唆している。
  論文  参考訳（メタデータ） (2025-05-21T10:08:39Z)
• Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks [50.53590930588431]
  敵対的な例は 自然言語処理システムに深刻な脅威をもたらします 近年の研究では、対角的テキストは通常のテキストの多様体から逸脱していることが示唆されているが、マスク付き言語モデルは正規データの多様体を近似することができる。 まず、マスク付き言語モデリング(MLM)の目的のマスクアンマスク操作を活用するMLMD(Masked Language Model-based Detection)を導入する。
  論文  参考訳（メタデータ） (2025-04-08T14:10:57Z)
• DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
  我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。 人気のある大規模言語モデル(LLM)を使用して、実世界のアプリケーションとの整合性を向上するデータを生成しました。 我々は,書式,モデルタイプ,攻撃方法,テキストの長さ,および実世界の人間の筆記因子が,さまざまな種類の検知器に与える影響について分析した。
  論文  参考訳（メタデータ） (2024-10-31T09:01:25Z)
• OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples [44.118047780553006]
  OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。 実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。 この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
  論文  参考訳（メタデータ） (2023-07-21T17:40:47Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。