論文の概要: Robust LLM-Generated Text Detection through Matched Conditional-Response Probing
- arxiv url: http://arxiv.org/abs/2610.38312v1
- Date: Wed, 28 Oct 2026 05:53:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 18:19:15.362709
- Title: Robust LLM-Generated Text Detection through Matched Conditional-Response Probing
- Title(参考訳): 一致条件応答法によるロバストLLMテキスト検出
- Abstract要約: LLM(Large Language Model)の生成したテキストは、意味を保存するテキストリビジョンの下で有効でなければならない。
textbfMCRPは、セマンティックマッチした条件が導入されたり、削除されたり、置き換えられたとき、候補のテキストがどのように反応するかを測定する。
textbfMCRPは、標準検出、意味を保存するテキストリビジョンへの堅牢性、多言語、マルチドメイン評価など、一貫して強力なパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 9.853780565233725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable detection of large language model (LLM)-generated text must remain effective under meaning-preserving text revisions, such as rewriting, polishing, and expansion. In practice, LLM outputs are often rewritten, polished, expanded, translated, or lightly edited before publication, weakening the lexical, syntactic, and local discourse cues used by many existing detectors. We introduce \textbf{M}atched \textbf{C}onditional-\textbf{R}esponse \textbf{P}robing (\textbf{MCRP}), a frozen-LLM probing framework that measures how a candidate text responds when a semantically matched condition is introduced, removed, or replaced. For each candidate, the frozen probe LLM first generates a short semantic condition and then compares token-level losses and prompt--target attention measurements under matched, null, and control conditions. It aggregates bidirectional conditioned alignment, counterfactual sensitivity, and internal attention coupling into a probe representation, on which it trains a lightweight supervised random-forest classifier while keeping the probe LLM frozen. Across standard detection, robustness to meaning-preserving text revisions, multilingual, and multidomain evaluations, MCRP achieves consistently strong performance. Under rewriting, polishing, and expansion, it reaches 93.97\% F1 and 96.24\% ROC-AUC, outperforming the strongest evaluated baseline by 19.50 and 25.77 percentage points, respectively. Component ablations show that the response feature groups make complementary contributions to predictive performance. In the condition-control study, matched conditions consistently outperform random, mismatched, and corrupted alternatives, demonstrating a measurable incremental benefit from semantic matching.
- Abstract(参考訳): 大規模言語モデル(LLM)生成テキストの信頼性の高い検出は、書き換え、研磨、拡張などの意味保存テキストリビジョンの下で有効でなければならない。
実際には、LPM出力は、出版前に書き直され、洗練され、拡張され、翻訳され、軽量に編集され、多くの既存の検出器で使われている語彙、構文、局所的な談話の手がかりが弱まる。
本稿では,意味的に一致した条件が導入されたり,削除されたり,置き換えられたりした場合に,候補テキストがどのように反応するかを測定する,凍結したLLMプローブフレームワークである,textbf{M}atched \textbf{C}onditional-\textbf{R}esponse \textbf{P}robing (\textbf{MCRP})を紹介する。
各候補について、凍結プローブLDMはまず短い意味条件を生成し、その後、一致、無効、制御条件下でトークンレベルの損失とプロンプトレベルの注意測定を比較する。
双方向の条件付きアライメント、対物感度、および内部の注意結合をプローブ表現に集約し、LLMを凍結させながら、軽量な監督されたランダムフォレスト分類器を訓練する。
標準検出、意味保存テキストのリビジョンに対する堅牢性、多言語、マルチドメイン評価など、MCRPは一貫して強い性能を達成している。
書き換え、研磨、拡張では、93.97\% F1と96.24\% ROC-AUCに到達し、それぞれ19.50と25.77で評価されたベースラインを上回った。
コンポーネントの短縮は、応答特徴群が予測性能に相補的な貢献をすることを示している。
条件制御研究では、マッチした条件はランダム、ミスマッチ、破損した代替品より一貫して優れており、意味的マッチングによる測定可能な漸進的な利点を示している。
関連論文リスト
- Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳(メタデータ) (2026-08-15T13:19:25Z) - Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。
Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2026-05-06T06:17:41Z) - PTEB: Towards Robust Text Embedding Evaluation via Stochastic Paraphrasing at Evaluation Time with LLMs [0.21485350418225244]
評価時に意味的パラフレーズを生成し,複数の実行で結果を集約する動的プロトコルであるParaphrasing Text Embedding Benchmark (PTEB) を導入する。
文エンコーダの性能は意味論が固定されたままでもトークン空間の変化に敏感であるという仮説を検証する。
結果は複数の実行に対して統計的に堅牢であり、実験を10言語をカバーする3つのデータセットに拡張しました。
論文 参考訳(メタデータ) (2025-10-08T07:37:19Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。
セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。
本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
論文 参考訳(メタデータ) (2023-08-17T18:11:33Z) - Adaptive Shrink-Mask for Text Detection [91.34459257409104]
既存のリアルタイムテキスト検出器は、ストリップマスクによってテキストの輪郭を直接再構築する。
予測された収縮マスクへの依存は不安定な検出結果をもたらす。
スーパーピクセルウィンドウ (SPW) はネットワークを監督するように設計されている。
論文 参考訳(メタデータ) (2021-11-18T07:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。