論文の概要: DACTYL: Diverse Adversarial Corpus of Texts Yielded from Large Language Models
- arxiv url: http://arxiv.org/abs/2508.00619v1
- Date: Fri, 01 Aug 2025 13:28:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.893054
- Title: DACTYL: Diverse Adversarial Corpus of Texts Yielded from Large Language Models
- Title（参考訳）: DACTYL:大規模言語モデルから得られたテキストの多言語対応コーパス
- Authors: Shantanu Thorat, Andrew Caines,
- Abstract要約: 既存のAI(AI生成)テキスト検出器は、内部テストに成功しながらも、現実世界の設定に苦労する。
この問題に対処するために、これらの検出器を構築するための機械学習手順を厳格に検討する。
現在のAIGテキスト検出データセットのほとんどはゼロショット世代に焦点を当てているが、少数ショットまたはワンショット世代ではほとんど行われていない。
- 参考スコア（独自算出の注目度）: 1.4712349476860904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing AIG (AI-generated) text detectors struggle in real-world settings despite succeeding in internal testing, suggesting that they may not be robust enough. We rigorously examine the machine-learning procedure to build these detectors to address this. Most current AIG text detection datasets focus on zero-shot generations, but little work has been done on few-shot or one-shot generations, where LLMs are given human texts as an example. In response, we introduce the Diverse Adversarial Corpus of Texts Yielded from Language models (DACTYL), a challenging AIG text detection dataset focusing on one-shot/few-shot generations. We also include texts from domain-specific continued-pre-trained (CPT) language models, where we fully train all parameters using a memory-efficient optimization approach. Many existing AIG text detectors struggle significantly on our dataset, indicating a potential vulnerability to one-shot/few-shot and CPT-generated texts. We also train our own classifiers using two approaches: standard binary cross-entropy (BCE) optimization and a more recent approach, deep X-risk optimization (DXO). While BCE-trained classifiers marginally outperform DXO classifiers on the DACTYL test set, the latter excels on out-of-distribution (OOD) texts. In our mock deployment scenario in student essay detection with an OOD student essay dataset, the best DXO classifier outscored the best BCE-trained classifier by 50.56 macro-F1 score points at the lowest false positive rates for both. Our results indicate that DXO classifiers generalize better without overfitting to the test set. Our experiments highlight several areas of improvement for AIG text detectors.
- Abstract（参考訳）: 既存のAI(AI生成)テキスト検出器は、内部テストに成功しているにもかかわらず、現実の環境では苦労している。
この問題に対処するために、これらの検出器を構築するための機械学習手順を厳格に検討する。
現在のAIGテキスト検出データセットのほとんどはゼロショット世代に焦点を当てているが、LLMを例に挙げた数世代や1ショット世代ではほとんど行われていない。
そこで本研究では,言語モデル (DACTYL) から得られたテキストの相互比較コーパス(Diverse Adversarial Corpus of Texts Yielded from Language Model, DACTYL)を紹介した。
また、ドメイン固有の継続事前訓練(CPT)言語モデルからのテキストも含み、メモリ効率の最適化アプローチを用いて全てのパラメータをトレーニングします。
既存のAIGテキスト検出器の多くはデータセットにかなり苦労しており、ワンショット/フェーショットおよびCPT生成テキストの潜在的な脆弱性を示している。
我々はまた、標準バイナリクロスエントロピー(BCE)最適化と、より最近のアプローチ、ディープXリスク最適化(DXO)という2つのアプローチを使って、独自の分類器を訓練する。
BCE で訓練された分類器は DACTYL テストセットで DXO 分類器をわずかに上回っているが、後者はout-of-distribution (OOD) テキストを上回っている。
OOD学生エッセイデータセットを用いた学生エッセイ検出における模擬展開シナリオにおいて、最良のDXO分類器は、BCE訓練分類器の50.56マクロF1スコアを、両者にとって最も低い偽陽性率で上回った。
以上の結果から,DXO分類器はテストセットに過度に適合することなく,より一般化できることが示唆された。
実験ではAIGテキスト検出器の改良点をいくつか挙げた。
関連論文リスト
- Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [60.09665704993751]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳（メタデータ） (2025-02-06T21:58:48Z) - DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。
DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。
我々の手法はテキストエンコーダと互換性がある。
論文 参考訳（メタデータ） (2024-10-28T12:34:49Z) - Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。
中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。
このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
論文 参考訳（メタデータ） (2024-06-13T12:43:40Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。
実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-07T12:57:01Z) - ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。
ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
論文 参考訳（メタデータ） (2024-02-17T02:25:57Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。
本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文 参考訳（メタデータ） (2023-11-06T13:11:02Z) - Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge
Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。
従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。
本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文 参考訳（メタデータ） (2023-08-30T02:22:40Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳（メタデータ） (2022-05-15T12:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。