論文の概要: Training-free LLM-generated Text Detection by Mining Token Probability Sequences
- arxiv url: http://arxiv.org/abs/2410.06072v1
- Date: Tue, 8 Oct 2024 14:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 11:20:35.633709
- Title: Training-free LLM-generated Text Detection by Mining Token Probability Sequences
- Title（参考訳）: マイニングトークン確率系列による無訓練LCMテキスト検出
- Authors: Yihuai Xu, Yongwei Wang, Yifei Bi, Huangsen Cao, Zhouhan Lin, Yu Zhao, Fei Wu,
- Abstract要約: 大規模言語モデル(LLM)は、様々な領域にまたがる高品質なテキストを生成する際、顕著な能力を示した。
統計的特徴を慎重に設計することで、固有の相違に焦点をあてたトレーニングフリーな手法は、一般化と解釈性の向上を提供する。
局所的および大域的統計を相乗化して検出を増強する,新しいトレーニング不要検出器である textbfLastde を導入する。
- 参考スコア（独自算出の注目度）: 18.955509967889782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in generating high-quality texts across diverse domains. However, the potential misuse of LLMs has raised significant concerns, underscoring the urgent need for reliable detection of LLM-generated texts. Conventional training-based detectors often struggle with generalization, particularly in cross-domain and cross-model scenarios. In contrast, training-free methods, which focus on inherent discrepancies through carefully designed statistical features, offer improved generalization and interpretability. Despite this, existing training-free detection methods typically rely on global text sequence statistics, neglecting the modeling of local discriminative features, thereby limiting their detection efficacy. In this work, we introduce a novel training-free detector, termed \textbf{Lastde} that synergizes local and global statistics for enhanced detection. For the first time, we introduce time series analysis to LLM-generated text detection, capturing the temporal dynamics of token probability sequences. By integrating these local statistics with global ones, our detector reveals significant disparities between human and LLM-generated texts. We also propose an efficient alternative, \textbf{Lastde++} to enable real-time detection. Extensive experiments on six datasets involving cross-domain, cross-model, and cross-lingual detection scenarios, under both white-box and black-box settings, demonstrated that our method consistently achieves state-of-the-art performance. Furthermore, our approach exhibits greater robustness against paraphrasing attacks compared to existing baseline methods.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、様々な領域にまたがる高品質なテキストを生成する際、顕著な能力を示した。
しかし、LCMの潜在的な誤用は重大な懸念を引き起こしており、LCM生成したテキストの確実な検出が緊急に必要であることを示している。
従来のトレーニングベースの検出器は、特にクロスドメインやクロスモデルシナリオにおいて、一般化に苦慮することが多い。
対照的に、慎重に設計された統計的特徴を通して固有の不一致に焦点を当てたトレーニングフリーな手法は、一般化と解釈性を改善している。
これにもかかわらず、既存の訓練なし検出手法は、通常、グローバルなテキストシーケンス統計に依存し、局所的な識別的特徴のモデリングを無視して、検出の有効性を制限している。
そこで本研究では,局所的および大域的統計を相乗化して検出を増強する,新しい学習自由度検出器「textbf{Lastde}」を提案する。
LLM生成テキスト検出に時系列解析を導入し,トークン確率列の時間的ダイナミクスを捉える。
これらの局所統計をグローバルな統計と組み合わせることで、我々の検出器は人間とLLM生成したテキストの相違を顕著に明らかにする。
また,リアルタイム検出を実現するための効率的な代替手段として,textbf{Lastde++}を提案する。
クロスドメイン,クロスモデル,およびクロスランガル検出シナリオを含む6つのデータセットを,ホワイトボックスとブラックボックスの両方の設定で広範囲に実験した結果,我々の手法が常に最先端の性能を達成することを示した。
さらに,提案手法は,既存のベースライン手法と比較して,パラフレーズ攻撃に対する堅牢性が高い。
関連論文リスト
- SEFD: Semantic-Enhanced Framework for Detecting LLM-Generated Text [12.639191350218528]
大規模言語モデル(LLM)生成テキスト(SEFD)を検出するための新しい意味強化フレームワークを提案する。
本フレームワークは,検索技術と従来の検出手法を体系的に統合することにより,既存の検出方法を改善する。
本稿では,オンラインフォーラムやQ&Aプラットフォームなど,現実のアプリケーションに共通するシーケンシャルテキストシナリオにおけるアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-11-17T20:13:30Z) - Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。
生成したテキストの強力な検出器を開発することがますます重要になっている。
この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
論文 参考訳（メタデータ） (2024-11-09T18:27:15Z) - DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。
我々は,現在のSOTA検出器の強度と限界を明らかにした。
DetectRLは、実世界のシナリオにおける検出器の評価に有効なベンチマークになり得ると考えている。
論文 参考訳（メタデータ） (2024-10-31T09:01:25Z) - Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。
既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。
低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-18T07:25:00Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。
本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。
提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
論文 参考訳（メタデータ） (2024-05-22T22:22:25Z) - Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography [18.7168443402118]
言語ステガノグラフィーは、特にAI生成技術の出現と共に、メッセージを隠蔽するための便利な実装を提供する。
既存の手法は、記号統計学の側面から、ステガノグラフテキストと正規テキストの分布差を見つけることに限定されている。
本稿では,大規模言語モデル(LLM)のヒューマンライクなテキスト処理機能を用いて,人間の知覚との違いを実現することを提案する。
論文 参考訳（メタデータ） (2024-05-15T04:52:09Z) - Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
単純だが効果的なブラックボックスゼロショット検出手法を提案する。
人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。
提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
論文 参考訳（メタデータ） (2024-05-07T12:57:01Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳（メタデータ） (2023-03-26T21:12:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。