論文の概要: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- arxiv url: http://arxiv.org/abs/2305.18149v2
- Date: Fri, 2 Jun 2023 04:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 19:01:39.819443
- Title: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- Title(参考訳): ai生成テキストのマルチスケール正ラベル検出
- Authors: Yuchuan Tian, Hanting Chen, Xutao Wang, Zheyuan Bai, Qinghua Zhang,
Ruifeng Li, Chao Xu, Yunhe Wang
- Abstract要約: マルチスケールテキスト検出の課題を解決するために,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短絡検出を大幅に改善する。
- 参考スコア(独自算出の注目度): 30.754628206417806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are
astonishing at generating human-like texts, but they may get misused for fake
scholarly texts, fake news, fake tweets, et cetera. Previous works have
proposed methods to detect these multiscale AI-generated texts, including
simple ML classifiers, pretrained-model-based training-agnostic methods, and
finetuned language classification models. However, mainstream detectors are
formulated without considering the factor of corpus length: shorter corpuses
are harder to detect compared with longer ones for shortage of informative
features. In this paper, a Multiscale Positive-Unlabeled (MPU) training
framework is proposed to address the challenge of multiscale text detection.
Firstly, we acknowledge the human-resemblance property of short machine texts,
and rephrase text classification as a Positive-Unlabeled (PU) problem by
marking these short machine texts as "unlabeled" during training. In this PU
context, we propose the length-sensitive Multiscale PU Loss, where we use a
recurrent model in abstraction to estimate positive priors of scale-variant
corpuses. Additionally, we introduce a Text Multiscaling module to enrich
training corpuses. Experiments show that our MPU method augments detection
performance on long AI-generated text, and significantly improves short-corpus
detection of language model detectors. Language Models trained with MPU could
outcompete existing detectors by large margins on multiscale AI-generated
texts. The codes are available at
https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
and https://github.com/YuchuanTian/AIGC_text_detector.
- Abstract(参考訳): 近年のLarge Language Models(LLM)、例えばChatGPT(英語版)は、人間のようなテキストを生成することに驚いているが、偽の学術的テキスト、偽ニュース、偽のツイートなどに誤用される可能性がある。
従来の研究では、単純なML分類器、事前訓練されたモデルに基づくトレーニング非依存の手法、微調整された言語分類モデルなど、これらのマルチスケールAI生成テキストを検出する方法が提案されている。
しかし、主流検出器はコーパス長の因子を考慮せずに定式化され、より短いコーパスは情報的特徴が不足しているため、より長いコーパスに比べて検出が困難である。
本稿では,マルチスケールテキスト検出の課題を解決するために,MPU(Multiscale Positive-Unlabeled)トレーニングフレームワークを提案する。
まず,ショートマシンテキストの人間的類似性を認め,これらの短いマシンテキストをトレーニング中に「ラベルなし」とマークすることで,肯定的ラベル付き(pu)問題としてテキスト分類を再現する。
このPUの文脈では、スケール不変コーパスの正の先行を推定するために、繰り返しモデルを抽象的に使用する、長さに敏感なマルチスケールPU損失を提案する。
さらに,トレーニングコーパスを充実させるためのテキストマルチスケーリングモジュールも導入する。
実験の結果,MPU法は長いAI生成テキストの検出性能を向上し,言語モデル検出器の短絡検出を大幅に改善することがわかった。
MPUで訓練された言語モデルは、マルチスケールのAI生成テキストに対して、既存の検出器を大きなマージンで上回る可能性がある。
コードはhttps://github.com/mindspore-lab/mindone/tree/examples/detect_chatgptとhttps://github.com/YuchuanTian/AIGC_text_detectorで入手できる。
関連論文リスト
- Technical Report on the Checkfor.ai AI-Generated Text Classifier [0.17404865362620806]
CheckforAIはトランスフォーマーベースのニューラルネットワークで、大きな言語モデルで書かれたテキストと人間の書いたテキストを区別するように訓練されている。
CheckforAIは、9倍以上のエラー率で、主要な商用AI検出ツールを上回っている。
論文 参考訳(メタデータ) (2024-02-21T17:13:41Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T01:23:10Z) - Towards a Robust Detection of Language Model Generated Text: Is ChatGPT
that Easy to Detect? [0.0]
本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。
提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。
その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
論文 参考訳(メタデータ) (2023-06-09T13:03:53Z) - M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection [69.29017069438228]
大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。
本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
論文 参考訳(メタデータ) (2023-05-24T08:55:11Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - MOST: A Multi-Oriented Scene Text Detector with Localization Refinement [67.35280008722255]
シーンテキスト検出のための新しいアルゴリズムを提案し、テキストローカリゼーションの品質を大幅に向上させる一連の戦略を提案する。
具体的には,テキスト・フィーチャー・アライメント・モジュール (TFAM) を提案し,特徴の受容領域を動的に調整する。
信頼できないものを排除するために、位置認識非最大抑制(PA-NMS)モジュールを考案する。
論文 参考訳(メタデータ) (2021-04-02T14:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。