論文の概要: Measuring Artifact Reliance in Machine-Generated Text Detectors

• arxiv url: http://arxiv.org/abs/2610.13583v1
• Date: Fri, 09 Oct 2026 13:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.601745
• Title: Measuring Artifact Reliance in Machine-Generated Text Detectors
• Title（参考訳）: 機械によるテキスト検出装置におけるアーチファクト信頼度の測定
• Abstract要約: 機械生成テキストの検出器は科学文献ベンチマークでほぼ完璧にスコアを出力する。 6つの一般的な資料から得られた10の科学的文書のサブセットを見てみましょう。 一つの単語を変更することなく、機械で書かれた抽象語を再ラッピングするだけで、公開検出器の正しい判断の20～27%が逆転する。
• 参考スコア（独自算出の注目度）: 1.1912433176327106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detectors of machine-generated text score almost perfectly on scientific-literature benchmarks, implying we can reliably distinguish with these detectors human and machine-generated documents. We looked at ten scientific-document subsets from six popular resources, and on several of them that apparent ease is a side effect of how the documents were put together. A logistic regression using 27 superficial features reached 0.833-0.997 macro-F1, and on the three arXiv subsets it outperformed every detector we evaluate with F1-scores 0.951-0.997. The strongest cue to the detector is the PDF extraction artifact: human texts retain their original line breaks, whereas generated texts are extracted as a single block of prose. This cue, together with three other formatting features, tell the classes apart at 0.996 AUC. To distinguish benchmarks that contain such a signal from detectors that rely on one, we introduce format counterfactuals: just re-wrapping a machine-written abstract without changing a single word reverses 20-27% of a public detector's correct decisions. Normalizing formatting before training reduces the generalization gap from 0.32 to 0.22. On format-clean benchmarks, it also raises out-of-domain macro-F1 from 0.33 to 0.65 for detectors trained on artifact-containing subsets.
• Abstract（参考訳）: 機械生成テキストのディテクターは、ほぼ完全に科学文献のベンチマークで評価され、人や機械生成文書と確実に区別できることを意味している。 6つの一般的な資料から得られた10の科学的文書のサブセットを調べ、そのいくつかについて明らかに容易さは、文書の組み立て方法の副作用である、と結論づけた。 27の表層特徴を用いたロジスティック回帰は0.833-0.997のマクロF1に到達し、3つのarXivサブセットではF1スコア0.951-0.997で評価された各検出器よりも優れていた。 人間のテキストは元の行切断を保持し、生成されたテキストは1ブロックの散文として抽出される。 このキューは、他の3つのフォーマット機能とともに、0.996 AUCでクラスを区別する。 このような信号を含むベンチマークを1つに依存した検出器と区別するために、フォーマットの反事実を導入する: 単に機械で書かれた抽象文を書き換えるだけで、単一の単語を変更せずに、公開検出器の正しい判断の20～27%が逆転する。 トレーニング前のフォーマッティングの正規化は、一般化のギャップを0.32から0.22に減らす。 フォーマットクリーンなベンチマークでは、アーティファクトを含むサブセットでトレーニングされた検出器に対して、ドメイン外マクロF1を0.33から0.65に引き上げる。

関連論文リスト

• Ontological Instability and Statistical Amplification: The Paradox of "Humanizing" LLM-Generated Text [0.2864713389096699]
  意味的,構造的,およびトークン化器レベルの摂動の下で,RoBERTaに基づく検出器を解析する。 Mistral-7B-Instructが機械テキストの音をより人間らしくするよう要求されると、Verb Diversityは0.77から0.92に上昇し、出力は検出しやすくなった。
  論文  参考訳（メタデータ） (2026-10-02T10:28:25Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Base Models Look Human To AI Detectors [68.7723287560362]
  ベースモデルから生成されたテキストは圧倒的に人間的であると判断されることが多いが、命令で調整されたテキストはそうではない。 提案するHumanization by Iterative Paraphrasing (HIP)は,ベースモデルをパラフラザーに最小限微調整し,反復的に適用する検出器非依存パイプラインである。 以上の結果から,現在の検出器は,機械生成テキストの概念よりも,命令チューニングやローカルコンテキストのアーティファクトを追跡していることが示唆された。
  論文  参考訳（メタデータ） (2026-05-19T08:13:12Z)
• Beyond Pattern Matching: Seven Cross-Domain Techniques for Prompt Injection Detection [0.0]
  本研究は,大言語以外の分野から特定のメカニズムを移植する7つの検出手法を提案する。 7つのテクニックのうち3つは、プロンプトシールドv0.4.1リリース(Apache 2.0)で実装され、6つのデータセットにわたる4つの設定アブレーションで評価されている。
  論文  参考訳（メタデータ） (2026-04-20T13:27:05Z)
• Detecting the Machine: A Comprehensive Benchmark of AI-Generated Text Detectors Across Architectures, Domains, and Adversarial Conditions [0.0]
  既存のベンチマークでは、理想的な条件下で単一のデータセット上の1つの検出器を評価する。 本稿では,2つのコーパスにまたがる多様な検出手法を評価するベンチマークを提案する。 その結果, 変圧器モデルでは, ほぼ完全な分散性能が得られるが, ドメインシフト下では劣化することがわかった。
  論文  参考訳（メタデータ） (2026-03-18T09:27:27Z)
• Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
  本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。 属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。 我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
  論文  参考訳（メタデータ） (2025-02-06T21:58:48Z)
• Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection [0.0]
  そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。 生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
  論文  参考訳（メタデータ） (2024-06-18T12:58:01Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Unsupervised and Distributional Detection of Machine-Generated Text [1.552214657968262]
  自然言語生成モデルのパワーは、テキストが人間かマシンオーサリングされているかを検出する自動手法への関心の高まりを引き起こしている。 繰り返し高次n-gramを利用した機械生成文書の検出手法を提案する。 我々の実験は、その信号を利用することで、不審な文書を正確にランク付けできることを示している。
  論文  参考訳（メタデータ） (2021-11-04T14:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。