論文の概要: A Measurement Perspective on Benchmarking LLM-Generated Text Detectors using Item Response Theory

• arxiv url: http://arxiv.org/abs/2610.24972v1
• Date: Sun, 18 Oct 2026 03:06:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:15.040786
• Title: A Measurement Perspective on Benchmarking LLM-Generated Text Detectors using Item Response Theory
• Title（参考訳）: 項目応答理論を用いたLCM生成テキスト検出器のベンチマークに関する一考察
• Abstract要約: ベンチマークの不均一性と検出器の挙動を特徴付けるための測定ベースのベンチマークフレームワークを提案する。 ベンチマークテキストを測定項目や検出器として扱うことで、テキストレベルの識別と困難位置パラメータを推定する。 このフレームワークを、4つのドメインにわたる32Kの人書きテキストと機械生成テキストのベンチマークに適用し、14の検出器で評価する。
• 参考スコア（独自算出の注目度）: 18.639121391428212
• License:
• Abstract: Benchmarking large language model (LLM)-generated text detectors commonly relies on aggregate detector-level metrics such as accuracy, F1 score, and AUC. Although useful for summarizing overall performance, these metrics provide limited insight into how benchmark composition shapes detector comparisons or which texts distinguish detectors with different response profiles. We propose a measurement-based benchmarking framework for jointly characterizing benchmark heterogeneity and detector behavior using multidimensional item response theory (IRT). By treating benchmark texts as measurement items and detectors as respondents, the framework estimates text-level discrimination and difficulty-location parameters alongside multidimensional detector abilities. We apply the framework to a benchmark of 32K human-written and machine-generated texts across four domains, evaluated by 14 detectors. The estimated IRT item-parameter space reveals distinct but overlapping human-machine distributions, with substantial variation across domains and text lengths. The human-machine label shows the strongest multivariate association with this space, while domain and text length further contribute to benchmark heterogeneity. Detector ability profiles reveal multidimensional and domain-dependent response patterns that are not fully reflected in aggregate performance rankings. As a practical application, clustering texts in the estimated IRT space yields a compact subset of 2,088 texts (6.5\% of the full 32K benchmark) that largely preserves the comparative detector-performance patterns observed on the full benchmark. Overall, the proposed framework provides a principled and interpretable methodology for benchmarking heterogeneous detection technologies while jointly characterizing the measurement properties of the texts used for their evaluation.
• Abstract（参考訳）: 大規模言語モデル (LLM) の生成したテキスト検出器のベンチマークは、一般に精度、F1スコア、AUCなどの集合的検出レベルメトリクスに依存している。 全体的な性能を要約するのに有用であるが、これらの指標は、どのようにベンチマーク組成が検出器の比較を形作るか、どのテキストが異なる応答プロファイルを持つ検出器を区別するかについての限られた洞察を提供する。 多次元アイテム応答理論 (IRT) を用いて, ベンチマークの不均一性と検出動作を共同で特徴付けるための測定ベースのベンチマークフレームワークを提案する。 ベンチマークテキストを測定項目および検出器として扱うことにより、多次元検出能力と並行してテキストレベルの識別と困難位置パラメータを推定する。 このフレームワークを、4つのドメインにわたる32Kの人書きテキストと機械生成テキストのベンチマークに適用し、14の検出器で評価する。 IRTアイテムパラメータ空間は、異なるが重なり合う人間のマシン分布を示し、ドメインとテキストの長さにかなりの違いがある。 人-機械ラベルは、この空間と最も強い多変量関係を示す一方、ドメインとテキストの長さは、さらにベンチマークの不均一性に寄与する。 検出能力プロファイルは、総合的なパフォーマンスランキングに完全に反映されていない多次元およびドメイン依存の応答パターンを明らかにする。 実際の応用として、IRT空間におけるクラスタリングテキストは、2,088テキスト(全32Kベンチマークの6.5\%)のコンパクトなサブセットを生成し、完全なベンチマークで観測される比較検出性能パターンをほとんど保存する。 提案フレームワークは,不均一検出技術の評価に使用するテキストの計測特性を共同評価しながら,一様検出技術をベンチマークするための原理的かつ解釈可能な手法を提供する。

関連論文リスト

• Base Models Look Human To AI Detectors [68.7723287560362]
  ベースモデルから生成されたテキストは圧倒的に人間的であると判断されることが多いが、命令で調整されたテキストはそうではない。 提案するHumanization by Iterative Paraphrasing (HIP)は,ベースモデルをパラフラザーに最小限微調整し,反復的に適用する検出器非依存パイプラインである。 以上の結果から,現在の検出器は,機械生成テキストの概念よりも,命令チューニングやローカルコンテキストのアーティファクトを追跡していることが示唆された。
  論文  参考訳（メタデータ） (2026-05-19T08:13:12Z)
• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• HACo-Det: A Study Towards Fine-Grained Machine-Generated Text Detection under Human-AI Coauthoring [14.887491317701997]
  本稿では,人間-AI共著者によるMGT検出の可能性について検討する。 より微細な検出器は、数値AI比で、共認可されたテキスト検出への経路を舗装することができることを示唆する。 実験結果から, 平均F1スコア0.462において, 計量法は微粒度検出に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:52:44Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
  Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。 DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。 テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-30T07:25:23Z)
• Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
  本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。 我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
  論文  参考訳（メタデータ） (2024-05-13T05:48:35Z)
• GPT-who: An Information Density-based Machine-Generated Text Detector [6.111161457447324]
  精神言語学的に着想を得た最初のドメイン非依存型統計検出器であるGPT-whoを提案する。 この検出器は、UDDベースの特徴を用いて、LLM(Large Language Models)生成および人文生成の各テキストのユニークな統計的シグネチャをモデル化する。 過剰なテキストが認識できない場合でも、非常に洗練されたLCMによって生成されたテキストを区別できるGPT- who can distinguishing texts。
  論文  参考訳（メタデータ） (2023-10-09T23:06:05Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。