論文の概要: How Sampling Affects the Detectability of Machine-written texts: A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2510.13681v1
• Date: Wed, 15 Oct 2025 15:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.744613
• Title: How Sampling Affects the Detectability of Machine-written texts: A Comprehensive Study
• Title（参考訳）: 機械テキストの検出性に及ぼすサンプリングの影響 : 総合的研究
• Authors: Matthieu Dubois, François Yvon, Pablo Piantanida,
• Abstract要約: 大きな言語モデル(LLM)はますます一般的になってきており、人間による内容とは区別がつかないことが多い。 最近の多くの検出器は精度がほぼ完璧であると報告しており、AUROCのスコアは99%を超えている。 本研究では,サンプリングに基づく復号化が検出可能性に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 39.866323800060066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As texts generated by Large Language Models (LLMs) are ever more common and often indistinguishable from human-written content, research on automatic text detection has attracted growing attention. Many recent detectors report near-perfect accuracy, often boasting AUROC scores above 99\%. However, these claims typically assume fixed generation settings, leaving open the question of how robust such systems are to changes in decoding strategies. In this work, we systematically examine how sampling-based decoding impacts detectability, with a focus on how subtle variations in a model's (sub)word-level distribution affect detection performance. We find that even minor adjustments to decoding parameters - such as temperature, top-p, or nucleus sampling - can severely impair detector accuracy, with AUROC dropping from near-perfect levels to 1\% in some settings. Our findings expose critical blind spots in current detection methods and emphasize the need for more comprehensive evaluation protocols. To facilitate future research, we release a large-scale dataset encompassing 37 decoding configurations, along with our code and evaluation framework https://github.com/BaggerOfWords/Sampling-and-Detection
• Abstract（参考訳）: LLM(Large Language Models)が生成するテキストは、人間が書いたコンテンツと区別できないことが多いため、自動テキスト検出の研究が注目されている。 最近の多くの検出器は、ほぼ完璧な精度を報告しており、しばしばAUROCのスコアは99\%以上である。 しかしながら、これらの主張は一般的に固定世代設定を前提としており、このようなシステムがデコード戦略の変更に対してどれほど堅牢かという疑問を解き放つ。 本研究では,サンプルベースの復号化が検出性に与える影響を系統的に検討し,モデルの(サブ)ワードレベルの微妙な変化が検出性能に与える影響に着目した。 温度、トップp、核サンプリングなどのデコードパラメータの微調整でさえ、AUROCがほぼ完全なレベルから1\%に低下することで、検出精度を著しく低下させることが判明した。 本研究は,現在の検出手法における重要な盲点を明らかにし,より包括的な評価プロトコルの必要性を強調した。 将来の研究を容易にするため、コードおよび評価フレームワークであるhttps://github.com/BaggerOfWords/Sampling-and-Detectionとともに37のデコード構成を含む大規模なデータセットをリリースしました。

関連論文リスト

• Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
  我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。 提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。 コード、事前トレーニングされたウェイト、デモがリリースされる。
  論文  参考訳（メタデータ） (2025-10-07T08:14:45Z)
• Text-ADBench: Text Anomaly Detection Benchmark based on LLMs Embedding [27.02879006439693]
  本研究は、総合的な実証的研究を行い、テキスト異常検出のためのベンチマークを導入する。 本研究は,埋め込み型テキスト異常検出の有効性を系統的に評価する。 ベンチマークツールキットをオープンソース化することで、この研究は、堅牢でスケーラブルなテキスト異常検出システムにおける将来の研究の基礎を提供する。
  論文  参考訳（メタデータ） (2025-07-16T14:47:41Z)
• TempTest: Local Normalization Distortion and the Detection of Machine-generated Text [0.0]
  本稿では,生成言語モデルに完全に依存した機械生成テキストを検出する手法を提案する。 これは、温度やトップkサンプリングのようなデコード戦略が条件付き確率測度を正規化する方法の欠陥を目標にすることで達成される。 我々は,様々な言語モデル,データセット,通過距離の異なる,白と黒のボックス設定での検出器の評価を行った。
  論文  参考訳（メタデータ） (2025-03-26T10:56:59Z)
• Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
  本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。 属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。 我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
  論文  参考訳（メタデータ） (2025-02-06T21:58:48Z)
• A Practical Examination of AI-Generated Text Detectors for Large Language Models [25.919278893876193]
  機械生成コンテンツ検出器は、様々な条件や言語モデルからそのようなテキストを識別する。 本稿では、これらの主張を、これらの検出器がこれまで遭遇していなかった領域、データセット、モデルにおいて、いくつかの一般的な検出器を評価することによって、批判的に評価する。
  論文  参考訳（メタデータ） (2024-12-06T15:56:11Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。