論文の概要: Beyond Perplexity: Character Distribution Signatures and the MDTA Benchmark for AI Text Detection
- arxiv url: http://arxiv.org/abs/2605.01647v1
- Date: Sun, 03 May 2026 00:10:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.866189
- Title: Beyond Perplexity: Character Distribution Signatures and the MDTA Benchmark for AI Text Detection
- Title(参考訳): 難易度を超えて:AIテキスト検出のための文字分散署名とMDTAベンチマーク
- Authors: Priyadarshan Narayanasamy, Swastik Agrawal, Klint Faber, Fardina Fathmiul Alam,
- Abstract要約: トレーニング不要のAIテキスト検出方法は、主にモデルログ確率に依存し、BinocularsやDNA-DetectLLMといったアプローチを通じて強力なパフォーマンスを達成する。
文字分布シグネチャに基づく代替検出信号を導入する。
我々は、大規模ドメインバランスのコーパスに基づいて訓練されたAIモデルが、人間がドメインに特化された分布を示す一方で、グローバルなキャラクタパターンを近似していることを示す理論的基盤を提供する。
- 参考スコア(独自算出の注目度): 0.34998703934432673
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training-free AI text detection methods primarily rely on model log-probabilities, achieving strong performance through approaches like Binoculars and DNA-DetectLLM. However, these methods face a fundamental ceiling as models are optimized through RLHF to produce human-like probability distributions. We introduce an alternative detection signal based on character distribution signatures. We provide theoretical foundations showing that AI models, trained on massive domain-balanced corpora, approximate global character patterns while humans exhibit domain-specialized distributions, creating a "Wall of Separation" where human-AI divergence significantly exceeds AI-AI divergence. To enable systematic evaluation, we construct the Models-Domains-Temperatures-Adversarials (MDTA) benchmark comprising 642,274 prompt-aligned samples across 4 models, 5 domains, 3 temperature settings, and 3 adversarial strategies, substantially expanding the HC3 dataset with modern model responses, temperature variation, and adversarial augmentation. We introduce the Letter Distribution Score (LD-Score), demonstrating low correlation (r = 0.08-0.13) with perplexity methods. When integrated with DNA-DetectLLM, Binoculars and FastDetectGPT via a non-linear classifier, LD-Score yields consistent improvements in AUROC and F1, with particularly pronounced gains in specialized domains where vocabulary constraints amplify the detection signal. The MDTA dataset can be accessed at: https://huggingface.co/datasets/nsp909/MDTA.
- Abstract(参考訳): トレーニング不要のAIテキスト検出方法は、主にモデルログ確率に依存し、BinocularsやDNA-DetectLLMといったアプローチを通じて強力なパフォーマンスを達成する。
しかし、これらの手法は人間のような確率分布を生成するためにRLHFによってモデルが最適化されるため、基本的な天井に直面している。
文字分布シグネチャに基づく代替検出信号を導入する。
我々は、大規模なドメインバランスのコーパスに基づいてトレーニングされたAIモデルが、人間がドメインに特化された分布を示す一方で、グローバルなキャラクタパターンを近似し、AI-AIの分岐がAI-AIの分岐を著しく上回る「分離の壁」を形成することを示す理論的基盤を提供する。
系統的な評価を可能にするため,4つのモデル,5ドメイン,3つの温度設定,3つの敵戦略にまたがる642,274個のプロンプトアライメントされたサンプルからなるモデル-ドメイン-温度-逆数(MDTA)ベンチマークを構築し,HC3データセットを最新のモデル応答,温度変動,および逆数拡張で大幅に拡張した。
本稿では,低相関 (r = 0.08-0.13) とパープレキシティ法を併用したレター分布スコア (LD-Score) を提案する。
DNA-DetectLLM、Binoculars、FastDetectGPTと非線形分類器を介して統合されると、LD-ScoreはAUROCとF1の一貫性のある改善をもたらす。
MDTAデータセットは、https://huggingface.co/datasets/nsp909/MDTAでアクセスできる。
関連論文リスト
- Detecting the Machine: A Comprehensive Benchmark of AI-Generated Text Detectors Across Architectures, Domains, and Adversarial Conditions [0.0]
既存のベンチマークでは、理想的な条件下で単一のデータセット上の1つの検出器を評価する。
本稿では,2つのコーパスにまたがる多様な検出手法を評価するベンチマークを提案する。
その結果, 変圧器モデルでは, ほぼ完全な分散性能が得られるが, ドメインシフト下では劣化することがわかった。
論文 参考訳(メタデータ) (2026-03-18T09:27:27Z) - Unsupervised domain adaptation for radioisotope identification in gamma spectroscopy [0.0]
教師なしドメイン適応(UDA)は、新しいテスト領域に一般化するために合成データに基づいて訓練されたモデルの能力を向上させることができる。
本研究では,UDAが新しいテスト領域に一般化するために,合成データに基づいて訓練されたモデルの能力を向上させることを実証する。
論文 参考訳(メタデータ) (2026-03-05T22:19:55Z) - Multi-Hierarchical Feature Detection for Large Language Model Generated Text [2.5782420501870287]
AIテキスト検出のための多階層的特徴統合について検討した。
我々は,MHFD(Multi-Hierarchical Feature Detection)を実装し,適応融合による意味解析,構文解析,統計的確率特徴を統合する。
複数のベンチマークデータセットによる実験結果から、MHFD法はドメイン内検出において89.7%の精度を達成し、クロスドメイン検出において84.2%の安定した性能を維持し、既存の手法よりも0.4-2.6%の緩やかな改善を示した。
論文 参考訳(メタデータ) (2025-09-23T09:55:42Z) - Zero-Shot Image Anomaly Detection Using Generative Foundation Models [2.241618130319058]
本研究は,意味的異常検出のための基礎的ツールとしてスコアベース生成モデルの利用について検討する。
スタインスコアの誤差を解析することにより,各ターゲットデータセットの再学習を必要とせず,異常サンプルを識別する新しい手法を提案する。
このアプローチは最先端よりも改善され、ひとつのデータセット — CelebA -- 上で単一のモデルをトレーニングすることに依存しています。
論文 参考訳(メタデータ) (2025-07-30T13:56:36Z) - Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。
提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。
本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-26T11:53:59Z) - Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。
本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。
我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
論文 参考訳(メタデータ) (2024-07-19T13:33:38Z) - Forward-Forward Learning achieves Highly Selective Latent Representations for Out-of-Distribution Detection in Fully Spiking Neural Networks [6.7236795813629]
生物学的システムにインスパイアされたスパイキングニューラルネットワーク(SNN)は、限界を克服するための有望な道を提供する。
本研究では,これらの課題に対処するために,スパイクフォワードフォワードアルゴリズム(FFA)の可能性を検討する。
本稿では,クラス分布からサンプルを遠ざける特徴を検出するための,新しい非勾配属性法を提案する。
論文 参考訳(メタデータ) (2024-07-19T08:08:17Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳(メタデータ) (2022-12-30T07:37:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。