論文の概要: Team DArgk at the 2026 ELOQUENT lab for evaluating generative language model quality: Residuals of Humanity: AI Detection Evasion via GRPO Fine-Tuning
- arxiv url: http://arxiv.org/abs/2609.22221v1
- Date: Wed, 02 Sep 2026 12:26:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.790497
- Title: Team DArgk at the 2026 ELOQUENT lab for evaluating generative language model quality: Residuals of Humanity: AI Detection Evasion via GRPO Fine-Tuning
- Title(参考訳): 生成言語モデルの品質を評価するための2026 ELOQUENT LabのチームDArgk: Residuals of Humanity: AI Detection Evasion via GRPO Fine-Tuning
- Abstract要約: 本稿では,政策最適化問題として検出回避を定式化する強化学習フレームワークSHADEを提案する。
我々の実験では、KL正規化ペナルティを小さくしたフル微調整は、サロゲート回避の980.5%、ベースモデルが1.5%であるのに対し、サロゲート回避の980.5%が達成されている。
言語学的分析により、脱出の成功はより短く、よりシンプルで、語彙的にも多様性の低い出力と関連していることが明らかになった。
- 参考スコア(独自算出の注目度): 0.5156484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can generate fluent and coherent text that is increasingly difficult to distinguish from human writing, motivating the development of automatic AI-generated text detectors. However, the robustness of such detectors under adversarial generation remains uncertain. This paper presents SHADE (Stochastic Human-like generation via Adversarial Detector Evasion), a reinforcement learning framework that formulates detector evasion as a policy optimization problem. Instead of applying post-hoc perturbations or prompting-based rewriting, SHADE fine-tunes an instruction-tuned LLaMA model with Group Relative Policy Optimization (GRPO), using feedback from a surrogate detector based on the PAN 2025 mdok system. Our experiments show that full fine-tuning with a small KL regularization penalty achieves $98.5\%$ surrogate evasion, compared to $1.5\%$ for the base model, while LoRA-based adaptation is substantially less effective under regularization. Linguistic analysis reveals that successful evasion is associated with shorter, simpler, and less lexically diverse outputs, suggesting that high detector evasion does not necessarily correspond to more human-like writing. In the official Voight-Kampff competition setting, our submissions ranked sixth and seventh, indicating that optimization against a single surrogate detector only partially transfers to unseen evaluation classifiers. These results highlight both the potential and limitations of reinforcement learning for adversarial AI-text generation and motivate more robust, multi-detector evaluation protocols for AI-generated text detection.
- Abstract(参考訳): 大規模言語モデル(LLM)は、人間の文章と区別することがますます困難になっている、流動的で一貫性のあるテキストを生成することができ、自動AI生成テキスト検出器の開発を動機付けている。
しかし、このような検出器の対向生成時の堅牢性は未だ不明である。
本稿では,政策最適化問題として検出回避を定式化する強化学習フレームワークSHADE(Adversarial Detector Evasion)を提案する。
SHADEは、ポストホック摂動やプロンプトベースの書き換えを行う代わりに、PAN 2025 mdokシステムに基づくサロゲート検出器からのフィードバックを用いて、グループ相対ポリシー最適化(GRPO)を用いた命令調整LLaMAモデルを微調整する。
実験の結果,KL正則化ペナルティが小さい場合の完全微調整は,標準モデルでは$1.5\%であるのに対して,Surrogate evasionが9,8.5\%であるのに対し,LoRAをベースとした適応は正則化の場合,ほぼ効果が低いことがわかった。
言語学的分析により、脱出の成功はより短く、よりシンプルで、語彙的にも多様性の低い出力と関連していることが明らかとなり、高い検出器の回避が必ずしも人間らしい文章に一致するとは限らないことが示唆された。
公式のVoight-Kampffコンペティション(Voight-Kampffコンペティション)では,提案手法が6位と7位にランクインした。
これらの結果は、AIテキスト生成における強化学習の可能性と限界の両方を強調し、AI生成テキスト検出のためのより堅牢なマルチ検出器評価プロトコルを動機付けている。
関連論文リスト
- Base Models Look Human To AI Detectors [68.7723287560362]
ベースモデルから生成されたテキストは圧倒的に人間的であると判断されることが多いが、命令で調整されたテキストはそうではない。
提案するHumanization by Iterative Paraphrasing (HIP)は,ベースモデルをパラフラザーに最小限微調整し,反復的に適用する検出器非依存パイプラインである。
以上の結果から,現在の検出器は,機械生成テキストの概念よりも,命令チューニングやローカルコンテキストのアーティファクトを追跡していることが示唆された。
論文 参考訳(メタデータ) (2026-05-19T08:13:12Z) - PADBen: A Comprehensive Benchmark for Evaluating AI Text Detectors Against Paraphrase Attacks [2.540711742769252]
そこで本研究では,AIGT識別のために設計された検出システムに対して,繰り返しパラメタしたテキストが回避される理由について検討する。
パラフレーズ攻撃シナリオに対する検出ロバスト性を系統的に評価した最初のベンチマークであるPADBenを紹介する。
論文 参考訳(メタデータ) (2025-11-01T05:59:46Z) - Self-Disguise Attack: Induce the LLM to disguise itself for AIGT detection evasion [16.94434185181644]
SDA(Self-Disguise Attack)は、大規模言語モデルがその出力を積極的に偽装できる新しいアプローチである。
SDA は,3 種類の LLM が生成するテキスト間での各種 AIGT 検出器の平均検出精度を効果的に低減することを示す。
論文 参考訳(メタデータ) (2025-08-20T04:17:03Z) - Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [77.82885394684202]
テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。
CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。
我々の理論的分析は、提案された攻撃の優越性を示唆している。
論文 参考訳(メタデータ) (2025-05-21T10:08:39Z) - AuthorMist: Evading AI Text Detectors with Reinforcement Learning [4.806579822134391]
AuthorMistは、AI生成したテキストを人間ライクな文章に変換する、新しい強化学習ベースのシステムだ。
AuthorMistは,本来の意味を保ちながら,AI生成テキストの検出性を効果的に低減することを示す。
論文 参考訳(メタデータ) (2025-03-10T12:41:05Z) - MOSAIC: Multiple Observers Spotting AI Content [35.67613230687864]
大規模言語モデル(LLM)は大規模に訓練され、強力なテキスト生成能力を備えている。
本研究では,人文テキストから人工的に生成したテキストを自動的に識別する手法を提案する。
種々のジェネレータLSMを用いて実験を行った結果,本手法は各モデルの強度を効果的に活用できることが示唆された。
論文 参考訳(メタデータ) (2024-09-11T20:55:12Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。
盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。
我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。