論文の概要: ARB: A Matched Authorship-Rewriting Benchmark Dataset for AI-Text Detector Evaluation

• arxiv url: http://arxiv.org/abs/2607.29539v1
• Date: Fri, 31 Jul 2026 15:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.783013
• Title: ARB: A Matched Authorship-Rewriting Benchmark Dataset for AI-Text Detector Evaluation
• Title（参考訳）: ARB:AIテキストインタクタ評価のための書き直しベンチマークデータセット
• Abstract要約: Authorship-Rewriting Benchmark (ARB)は1,800の人文テキストと4つのオープンウェイトジェネレータから構築されている。 FastDetectGPTとBinoculars-falcon-7bは直接LLMテキストの91.2%と93.5%を検出したが、LLMが書き直した人間のテキストの30.8%と15.1%しか検出しなかった。 これらの結果から,従来のHuman-vs.LLMベンチマークで測定された検出性能は,LLMによって改訂された人間によるテキストに転送されないことがわかった。
• 参考スコア（独自算出の注目度）: 1.6901808995670524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard AI-text detection benchmarks compare human-written text against text generated directly by large language models (LLMs). While prior work has shown that rewriting and paraphrasing can degrade detector performance, it remains unclear whether performance measured on this conventional benchmark predicts detector behavior when human-authored content is rewritten by an LLM. To address this gap, we introduce Authorship-Rewriting Benchmark (ARB), built from 1,800 human source texts (600 each from XSum, WritingPrompts, and OpenWebText) and four open-weight generators (Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B). Each source item yields four matched variants: human-written (HUMAN), direct LLM generation (Free-LLM), LLM-rewritten human text (H2L), and same-generator LLM-rewritten LLM text (LLM2L). We evaluated five detectors (FastDetectGPT, Binoculars-falcon-7b, RADAR, BERT-Defense, RoBERTa-Defense) at a strict 1%-false-positive operating point (TPR@1%FPR). FastDetectGPT and Binoculars-falcon-7b detected 91.2% and 93.5\% of direct LLM text, but only 30.8% and 15.1% of human text an LLM had rewritten, a drop of 60-78 percentage points. The same detectors retained 78.3% and 83.0% recall when LLM text was rewritten by the same model, a much smaller decline of 10-13 points. RADAR followed the same pattern (66.8% to 12.2%), while BERT-Defense and RoBERTa-Defense stayed below 3% recall across all regimes. These results show that detector performance measured on the conventional human-vs-LLM benchmark does not transfer to human-authored text revised by an LLM, even though the same detectors remain largely robust to LLM-only rewriting.
• Abstract（参考訳）: 標準的なAIテキスト検出ベンチマークは、人間が書いたテキストと大きな言語モデル(LLM)によって直接生成されたテキストを比較している。 以前の研究では、リライトとパラフレージングが検出器性能を劣化させることが示されているが、従来のベンチマークで測定された性能がLLMによって人為的コンテンツを書き換えたときの検知挙動を予測するかどうかは不明である。 このギャップに対処するために,1,800の人文テキスト(XSum,WriteingPrompts,OpenWebTextの各600)と4つのオープンウェイトジェネレータ(Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B)から構築されたオーサリング・リライトベンチマーク(ARB)を紹介した。 ソースアイテムには、Human-write (HUMAN), direct LLM generation (Free-LLM), LLM-re written human text (H2L), and same-generator LLM-re written LLM text (LLM2L)の4種類がある。 5つの検出器 (FastDetectGPT, Binoculars-falcon-7b, RADAR, BERT-Defense, RoBERTa-Defense) を厳密な1%偽陽性手術点 (TPR@1%FPR) で評価した。 FastDetectGPTとBinoculars-falcon-7bは直接LLMテキストの91.2%と93.5.%を検出したが、LLMが書き直したテキストの30.8%と15.1%しか検出されなかった。 LLMのテキストが同じモデルで書き直されたとき、同じ検出器は78.3%と83.0%のリコールを保持し、10-13点の低下ははるかに小さい。 RADARは同じパターン(66.8%から12.2%)を踏襲し、BERT-DefenseとRoBERTa-Defenseは全政権で3%以下にとどまった。 これらの結果から,従来のHuman-vs-LLMベンチマークで測定された検出器性能は,LLMのみの書き換えに対してほぼ堅牢であるにもかかわらず,LLMによって改訂された人間によるテキストに転送されないことがわかった。

関連論文リスト

• PersonalBench: Measuring the Authorship Gap in LLM Personalization [0.0]
  推論時パーソナライズ手法を評価するベンチマークであるPersonalBenchを紹介する。 著者50名、世代1,000名、モデルファミリー2名を対象に、パーソナライズ手法が著者差分出力を生み出すことを発見した。 すべての手法は実際の著者とLUARの類似性を0.484-0.508の範囲で達成し、その下層は0.626である。
  論文  参考訳（メタデータ） (2026-08-20T07:48:20Z)
• EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection [11.65568345337734]
  本稿では,NLPCC 2026共有タスク6に対するコンフリクト認識融合を備えた多信号アンサンブルフレームワークEVIL-Detectを提案する。 このシステムは、編集時回帰、ゼロショット確率コントラスト信号、語彙統計、保守的テキストルールを統合している。 本システムでは, 分配シフトが強く, マクロF1スコア0.8888を達成し, 公式評価において第1位となるロバスト性を向上する。
  論文  参考訳（メタデータ） (2026-08-11T09:19:56Z)
• How Well Do LLMs Imitate Human Writing Style? [2.3754840025365183]
  大規模言語モデル(LLM)は、流動的なテキストを生成することができるが、特定の人間の作者の独特のスタイルを再現する能力は、まだ不明である。 著者の検証とスタイルの模倣分析のための,高速かつトレーニング不要なフレームワークを提案する。 学術エッセイでは97.5%、クロスドメイン評価では94.5%の精度を達成している。
  論文  参考訳（メタデータ） (2025-09-29T15:34:40Z)
• LLM Encoder vs. Decoder: Robust Detection of Chinese AI-Generated Text with LoRA [4.104443734934105]
  我々は、エンコーダベースのトランスフォーマー(中国のBERTラージとRoBERTa-wwm-ext-large)、デコーダのみのLCM(アリババのQwen2.5-7B/Deep-R1-Distill-Qwen-7B)、およびFastTextベースラインを比較した。 実験により、エンコーダモデルはトレーニングデータをほとんど記憶しているが、分散シフト時に顕著な性能劣化を被っていることが明らかになった。
  論文  参考訳（メタデータ） (2025-08-31T07:51:22Z)
• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [77.82885394684202]
  テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。 CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。 我々の理論的分析は、提案された攻撃の優越性を示唆している。
  論文  参考訳（メタデータ） (2025-05-21T10:08:39Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。 実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
  密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。 本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。 Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-01-22T16:09:47Z)
• ASPIRO: Any-shot Structured Parsing-error-Induced ReprOmpting for Consistent Data-to-Text Generation [0.0]
  ASPIROは、構造化されたデータを0から数ショット設定で短いテンプレート文に変換するアプローチである。 従来の手法とは異なり、我々のアプローチは大規模言語モデルにエンティティに依存しないテンプレートを直接生成するよう促す。
  論文  参考訳（メタデータ） (2023-10-27T03:39:51Z)
• RADAR: Robust AI-Text Detection via Adversarial Learning [69.5883095262619]
  RADARはパラフラザーと検出器の対向訓練に基づいている。 パラフレーズの目標は、AIテキスト検出を避けるために現実的なコンテンツを生成することである。 RADARは検出器からのフィードバックを使ってパラフラザーを更新する。
  論文  参考訳（メタデータ） (2023-07-07T21:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。