論文の概要: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- arxiv url: http://arxiv.org/abs/2305.18149v4
- Date: Tue, 5 Mar 2024 08:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:28:39.940845
- Title: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- Title(参考訳): ai生成テキストのマルチスケール正ラベル検出
- Authors: Yuchuan Tian, Hanting Chen, Xutao Wang, Zheyuan Bai, Qinghua Zhang,
Ruifeng Li, Chao Xu, Yunhe Wang
- Abstract要約: 短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
- 参考スコア(独自算出の注目度): 27.956604193427772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are
astonishing at generating human-like texts, but they may impact the
authenticity of texts. Previous works proposed methods to detect these
AI-generated texts, including simple ML classifiers, pretrained-model-based
zero-shot methods, and finetuned language classification models. However,
mainstream detectors always fail on short texts, like SMSes, Tweets, and
reviews. In this paper, a Multiscale Positive-Unlabeled (MPU) training
framework is proposed to address the difficulty of short-text detection without
sacrificing long-texts. Firstly, we acknowledge the human-resemblance property
of short machine texts, and rephrase AI text detection as a partial
Positive-Unlabeled (PU) problem by regarding these short machine texts as
partially ``unlabeled". Then in this PU context, we propose the
length-sensitive Multiscale PU Loss, where a recurrent model in abstraction is
used to estimate positive priors of scale-variant corpora. Additionally, we
introduce a Text Multiscaling module to enrich training corpora. Experiments
show that our MPU method augments detection performance on long AI-generated
texts, and significantly improves short-text detection of language model
detectors. Language Models trained with MPU could outcompete existing detectors
on various short-text and long-text detection benchmarks. The codes are
available at
https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
and https://github.com/YuchuanTian/AIGC_text_detector.
- Abstract(参考訳): 最近の大型言語モデル(llm)のリリース、例えばchatgptは、人間に似たテキストを生成することに驚いているが、それらはテキストの真正性に影響を与える可能性がある。
以前の研究では、単純なml分類器、事前訓練されたモデルベースのゼロショットメソッド、微調整された言語分類モデルを含む、これらのai生成テキストを検出する方法を提案した。
しかし、メインストリーム検出器は常にSMS、ツイート、レビューなどの短いテキストで失敗する。
本稿では,長文を犠牲にすることなく短文検出の難しさを解決するために,MPU(Multiscale Positive-Unlabeled)トレーニングフレームワークを提案する。
まず, 短機械テキストの人間組立性を認め, これらの短機械テキストを部分的に「未ラベル化」とみなして, 部分的正の非ラベル化(PU)問題としてAIテキスト検出を言い換える。
次に,このpuコンテキストにおいて,多変量コーパスの正の事前推定に抽象的再帰モデルを用いる,長さに敏感な多変量pu損失を提案する。
さらに,トレーニングコーパスを強化するためのテキストマルチスケーリングモジュールも導入する。
実験の結果,MPU法は長いAI生成テキストの検出性能を向上し,言語モデル検出の短文検出を大幅に改善することがわかった。
MPUで訓練された言語モデルは、様々な短文および長文検出ベンチマークで既存の検出器より優れている。
コードはhttps://github.com/mindspore-lab/mindone/tree/examples/detect_chatgptとhttps://github.com/YuchuanTian/AIGC_text_detectorで入手できる。
関連論文リスト
- Technical Report on the Checkfor.ai AI-Generated Text Classifier [0.17404865362620806]
CheckforAIはトランスフォーマーベースのニューラルネットワークで、大きな言語モデルで書かれたテキストと人間の書いたテキストを区別するように訓練されている。
CheckforAIは、9倍以上のエラー率で、主要な商用AI検出ツールを上回っている。
論文 参考訳(メタデータ) (2024-02-21T17:13:41Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T01:23:10Z) - Towards a Robust Detection of Language Model Generated Text: Is ChatGPT
that Easy to Detect? [0.0]
本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。
提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。
その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
論文 参考訳(メタデータ) (2023-06-09T13:03:53Z) - M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection [69.29017069438228]
大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。
本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
論文 参考訳(メタデータ) (2023-05-24T08:55:11Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - MOST: A Multi-Oriented Scene Text Detector with Localization Refinement [67.35280008722255]
シーンテキスト検出のための新しいアルゴリズムを提案し、テキストローカリゼーションの品質を大幅に向上させる一連の戦略を提案する。
具体的には,テキスト・フィーチャー・アライメント・モジュール (TFAM) を提案し,特徴の受容領域を動的に調整する。
信頼できないものを排除するために、位置認識非最大抑制(PA-NMS)モジュールを考案する。
論文 参考訳(メタデータ) (2021-04-02T14:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。