論文の概要: Robust Detection of LLM-Generated Text under Contamination
- arxiv url: http://arxiv.org/abs/2609.29935v1
- Date: Thu, 24 Sep 2026 15:01:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.037243
- Title: Robust Detection of LLM-Generated Text under Contamination
- Title（参考訳）: 汚染下におけるLCM生成テキストのロバスト検出
- Abstract要約: 編集および汚染下でのLLM生成テキストの検出について検討した。
前提条件下での信頼性検出の正確な境界を特徴付ける。
このバウンダリの下には、クリッピングされた可能性比テストのコレクションが最悪のケースエラーを発生させる。
- 参考スコア（独自算出の注目度）: 30.266604144013126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the detection of LLM-generated text under editing and contamination. Modeling human and machine text as finite-order Markov processes with Huber contamination, we characterize an exact boundary for reliable detection under our assumptions. Detection is impossible when contamination is sufficiently large relative to clean-source separation. Below this boundary, a collection of clipped likelihood-ratio tests achieves vanishing worst-case errors. This construction motivates clipping as a simple modification of existing statistical detectors. For a broad class of additive scores, we identify conditions under which the clipped test is consistent while the raw test's worst-case power tends to zero. We evaluate seven detectors across three datasets and three generation models, and on the RAID benchmark. Clipping improves robustness in both studies, with gains varying across detectors and contamination settings. For example, at a target false-positive rate of 5\%, clipping improves the log-likelihood--log-rank ratio (LRR) detector's true-positive rate by a median of 8.3 percentage points in the controlled study and 2.1 and 4.3 points in rate- and attack-specific RAID evaluations, respectively.
- Abstract（参考訳）: 編集および汚染下でのLLM生成テキストの検出について検討した。
ハマー汚染による有限次マルコフ過程として人間と機械のテキストをモデル化し、我々の仮定の下で信頼性のある検出を行うための正確な境界を特徴付ける。
汚染がクリーンソース分離に対して十分に大きい場合、検出は不可能である。
このバウンダリの下には、クリッピングされた可能性比テストのコレクションが最悪のケースエラーを発生させる。
この構造は、既存の統計検出器の簡単な修正としてクリッピングを動機付けている。
幅広い付加的なスコアのクラスに対して、カットされたテストが一貫した条件を特定し、生のテストの最悪のケースのパワーはゼロになる傾向にある。
3つのデータセットと3つの世代モデルにまたがる7つの検出器をRAIDベンチマークで評価した。
クリッピングは両方の研究において堅牢性を改善し、検出器や汚染設定によって利得が変化する。
例えば、ターゲットの偽陽性率5\%において、クリッピングは、制御された研究で8.3ポイント、レート比で2.1ポイント、アタック比で4.3ポイントの正の値で、ログ類似度-ログランク比(LRR)検出器の真正の値を改善する。
関連論文リスト
- Conformalized Large Language Models under Configuration Shift [46.502741608809174]
コンフォーマル予測は不確実性定量化のための分布のないフレームワークである。
非整合性スコアは、単に固定モデルではなく、推論パイプラインによって引き起こされることが多い。
構成シフトがCPの妥当性を損なうことを示す。
論文 参考訳（メタデータ） (2026-08-02T19:34:41Z) - TRACER: A Semantic-Aware Framework for Fine-Grained Contamination Detection in Code LLMs [5.739404573725206]
コード汚染検出のためのセマンティック・アウェア・フレームワークであるTRACERを提案する。
TRACERは3つのレベルのセマンティックオーバーラップを使って汚染をモデル化する。
また、広く使用されている3つのベンチマークと、トレーニング後の代表的な3つのデータセットにまたがる、きめ細かいコード汚染検出のための最初のベンチマークも紹介する。
論文 参考訳（メタデータ） (2026-05-22T17:30:20Z) - Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators [0.10923877073891443]
我々はHC3 PLUSで変圧器ベースの検出器を訓練し、ホールドアウト検証におけるバランスの取れた精度を最大化することにより、単一判定閾値を校正する。
HC3 PLUS の領域内、マルチドメインのマルチジェネレータ M4 ベンチマークへのクロスデータセット転送、および外部 AI-Text-Detection-Pile 上での評価を行う。
我々の最良のモデル(DeBERTa-v3-base+FeatAttn)はM4上で85.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-05-05T16:52:26Z) - HalluScan: A Systematic Benchmark for Detecting and Mitigating Hallucinations in Instruction-Following LLMs [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。
しかし、それらは幻覚に影響を受けやすい - 事実的に不正確で、提供されたコンテキストに反するコンテンツを生成したり、ユーザ指示に反する。
本稿では,72構成の幻覚検出と緩和を体系的に評価する総合ベンチマークフレームワークであるHaluScanを紹介する。
論文 参考訳（メタデータ） (2026-05-04T10:43:27Z) - Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。
我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。
3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
論文 参考訳（メタデータ） (2026-04-02T05:30:20Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2026-02-08T16:06:12Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - A Framework for Creating Non-Regressive Test Cases via Branch Consistency Analysis Driven by Descriptions [9.141981611891715]
DISTINCT は Description-guided, branch-consistency analysis framework である。
LLM(Large Language Model)ベースのジェネレータを障害対応テストジェネレータに変換する。
コンパイル成功率(CSR)が14.64%、通過率(PR)が6.66%の平均的な改善を実現している。
論文 参考訳（メタデータ） (2025-06-09T07:05:48Z) - Rethinking Benchmark and Contamination for Language Models with
Rephrased Samples [49.18977581962162]
大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。
多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
論文 参考訳（メタデータ） (2023-11-08T17:35:20Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。