論文の概要: Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis
- arxiv url: http://arxiv.org/abs/2609.34691v1
- Date: Mon, 28 Sep 2026 09:13:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 03:42:06.442229
- Title: Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis
- Title(参考訳): LLMを用いたLCM生成テキストの検出:クロスジェネレーション解析
- Abstract要約: 汎用 LLM は説明的根拠を持つ柔軟なゼロショットの著者分類を提供する。
3つのモデル世代にまたがる15個のLLMをジェネレータおよび検出器として評価した。
本結果より, 検出効率は, ジェネレータ前駆体ではなく, 検出能力によって駆動されることが明らかとなった。
- 参考スコア(独自算出の注目度): 17.309340310783032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated detection of LLM-generated texts (LGTs) is critical, yet dedicated detectors often struggle to generalize across domains and models. While general-purpose LLMs offer flexible zero-shot authorship classification with explanatory rationale, their detection behavior, especially regarding self-detection versus cross-detection across model generations, remains poorly understood. We systematically evaluate 15 LLMs spanning three model generations as both generators and detectors. Using a benchmark of 1,000 human-written texts and 15,000 LGTs (1,000 per model), we collected over 233,000 binary classifications alongside natural-language explanations. Our results reveal that detection efficacy is primarily driven by detector capability rather than generator provenance, although outputs from newer generators remain notably harder to detect. Crucially, statistical comparisons show no systematic advantage or disadvantage for self-detection across models. Error analysis further exposes generational bias shifts: first-generation detectors under-detect LGTs (high false-negative rates), second-generation detectors over-flag human texts (high false-positive rates), and the latest models achieve balanced trade-offs. Finally, we highlight significant inconsistencies in how different LLMs apply textual cues to justify their decisions. Code: https://github.com/hyyuan/detect-llm-generated-texts.
- Abstract(参考訳): LLM生成テキスト(LGT)の自動検出は重要であるが、専用の検出器はドメインやモデル間の一般化に苦慮することが多い。
汎用LLMは説明的根拠を持つ柔軟なゼロショットオーサリング分類を提供するが、その検出行動、特にモデル世代間での自己検出対横断検出についてはまだ理解されていない。
我々は,3つのモデル世代にまたがる15個のLLMをジェネレータと検出器の両方として系統的に評価した。
人文テキスト1,000点とLGT15,000点(モデル毎1,000点)のベンチマークを用いて,233,000以上のバイナリ分類と自然言語による説明を収集した。
本結果から, 検出効率は, 発電機の出力よりも検出能力に左右されることがわかったが, 新たな発電機からの出力は検出が困難である。
重要な点として、統計的比較は、モデル間での自己検出に対して体系的な利点や欠点を示さない。
エラー分析はさらに、第1世代検出器は検出下LGT(高い偽陰性率)、第2世代検出器はオーバーフラッグヒトテキスト(高い偽陽性率)、最新のモデルはバランスの取れたトレードオフを達成する。
最後に、異なるLLMがどのようにテキストの手がかりを適用して意思決定を正当化するかという点において、重大な矛盾を強調します。
コード:https://github.com/hyyuan/detect-llm- generated-texts。
関連論文リスト
- Detecting the Machine: A Comprehensive Benchmark of AI-Generated Text Detectors Across Architectures, Domains, and Adversarial Conditions [0.0]
既存のベンチマークでは、理想的な条件下で単一のデータセット上の1つの検出器を評価する。
本稿では,2つのコーパスにまたがる多様な検出手法を評価するベンチマークを提案する。
その結果, 変圧器モデルでは, ほぼ完全な分散性能が得られるが, ドメインシフト下では劣化することがわかった。
論文 参考訳(メタデータ) (2026-03-18T09:27:27Z) - RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。
本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。
実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文 参考訳(メタデータ) (2025-08-18T17:59:15Z) - "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。
異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。
本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-02-18T11:00:28Z) - DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。
人気のある大規模言語モデル(LLM)を使用して、実世界のアプリケーションとの整合性を向上するデータを生成しました。
我々は,書式,モデルタイプ,攻撃方法,テキストの長さ,および実世界の人間の筆記因子が,さまざまな種類の検知器に与える影響について分析した。
論文 参考訳(メタデータ) (2024-10-31T09:01:25Z) - Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。
本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。
Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
論文 参考訳(メタデータ) (2024-01-22T16:09:47Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability
Curvature [143.5381108333212]
大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。
次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
論文 参考訳(メタデータ) (2023-01-26T18:44:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。