論文の概要: Reliably Bounding False Positives: A Zero-Shot Machine-Generated Text Detection Framework via Multiscaled Conformal Prediction

• arxiv url: http://arxiv.org/abs/2505.05084v1
• Date: Thu, 08 May 2025 09:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.828133
• Title: Reliably Bounding False Positives: A Zero-Shot Machine-Generated Text Detection Framework via Multiscaled Conformal Prediction
• Title（参考訳）: 偽陽性の信頼性:マルチスケールコンフォーマル予測によるゼロショットマシン生成テキスト検出フレームワーク
• Authors: Xiaowei Zhu, Yubing Ren, Yanan Cao, Xixun Lin, Fang Fang, Yangxi Li,
• Abstract要約: 既存の検出手法の多くは、高い偽陽性率(FPR)による社会的リスクを無視して、検出精度を過度に重視している。 本稿では,FPRの上界を効果的に制約する Conformal Prediction (CP) を利用してこの問題に対処する。 このトレードオフを克服するために,マルチスケールコンフォーマル予測(MCP)を用いたゼロショットマシン生成テキスト検出フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.76704882926895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models has raised significant concerns regarding their potential misuse by malicious actors. As a result, developing effective detectors to mitigate these risks has become a critical priority. However, most existing detection methods focus excessively on detection accuracy, often neglecting the societal risks posed by high false positive rates (FPRs). This paper addresses this issue by leveraging Conformal Prediction (CP), which effectively constrains the upper bound of FPRs. While directly applying CP constrains FPRs, it also leads to a significant reduction in detection performance. To overcome this trade-off, this paper proposes a Zero-Shot Machine-Generated Text Detection Framework via Multiscaled Conformal Prediction (MCP), which both enforces the FPR constraint and improves detection performance. This paper also introduces RealDet, a high-quality dataset that spans a wide range of domains, ensuring realistic calibration and enabling superior detection performance when combined with MCP. Empirical evaluations demonstrate that MCP effectively constrains FPRs, significantly enhances detection performance, and increases robustness against adversarial attacks across multiple detectors and datasets.
• Abstract（参考訳）: 大規模言語モデルの急速な進歩は、悪意あるアクターによる潜在的な誤用に関する重大な懸念を引き起こしている。 その結果,これらのリスクを軽減する効果的な検出器の開発が重要視されている。 しかし、既存の検出手法の多くは検出精度に過度に集中しており、しばしば高い偽陽性率(FPR)によって引き起こされる社会的リスクを無視している。 本稿では,FPRの上界を効果的に制約する Conformal Prediction (CP) を利用してこの問題に対処する。 CPはFPRを直接適用するが、検出性能は大幅に低下する。 このトレードオフを克服するために,マルチスケールコンフォーマル予測(MCP)によるゼロショットマシン生成テキスト検出フレームワークを提案する。 本稿では,様々な領域にまたがる高品質なデータセットであるRealDetについても紹介する。 実証的な評価では、MPPはFPRを効果的に制限し、検出性能を大幅に向上し、複数の検出器やデータセットをまたいだ敵攻撃に対する堅牢性を高めている。

関連論文リスト

• Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection [6.192472816262214]
  機械学習(ML)モデルは、ID(In-distriion)データに基づいてトレーニングされるが、デプロイ中にOOD(out-of-distriion)入力に遭遇することが多い。 最近の研究は、OODの不確実性を定量化するためのスコアリング関数の設計に重点を置いている。 我々は,実世界のOOD入力に基づいて,フライ時のスコアリング機能としきい値の両方を即時更新するヒューマン・イン・ザ・ループ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-05T00:25:14Z)
• A Practical Examination of AI-Generated Text Detectors for Large Language Models [25.919278893876193]
  機械生成コンテンツ検出器は、様々な条件や言語モデルからそのようなテキストを識別する。 本稿では、これらの主張を、これらの検出器がこれまで遭遇していなかった領域、データセット、モデルにおいて、いくつかの一般的な検出器を評価することによって、批判的に評価する。
  論文  参考訳（メタデータ） (2024-12-06T15:56:11Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。