論文の概要: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- arxiv url: http://arxiv.org/abs/2305.18149v4
- Date: Tue, 5 Mar 2024 08:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:28:39.940845
- Title: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- Title（参考訳）: ai生成テキストのマルチスケール正ラベル検出
- Authors: Yuchuan Tian, Hanting Chen, Xutao Wang, Zheyuan Bai, Qinghua Zhang,
Ruifeng Li, Chao Xu, Yunhe Wang
- Abstract要約: 短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
- 参考スコア（独自算出の注目度）: 27.956604193427772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are
astonishing at generating human-like texts, but they may impact the
authenticity of texts. Previous works proposed methods to detect these
AI-generated texts, including simple ML classifiers, pretrained-model-based
zero-shot methods, and finetuned language classification models. However,
mainstream detectors always fail on short texts, like SMSes, Tweets, and
reviews. In this paper, a Multiscale Positive-Unlabeled (MPU) training
framework is proposed to address the difficulty of short-text detection without
sacrificing long-texts. Firstly, we acknowledge the human-resemblance property
of short machine texts, and rephrase AI text detection as a partial
Positive-Unlabeled (PU) problem by regarding these short machine texts as
partially ``unlabeled". Then in this PU context, we propose the
length-sensitive Multiscale PU Loss, where a recurrent model in abstraction is
used to estimate positive priors of scale-variant corpora. Additionally, we
introduce a Text Multiscaling module to enrich training corpora. Experiments
show that our MPU method augments detection performance on long AI-generated
texts, and significantly improves short-text detection of language model
detectors. Language Models trained with MPU could outcompete existing detectors
on various short-text and long-text detection benchmarks. The codes are
available at
https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
and https://github.com/YuchuanTian/AIGC_text_detector.
- Abstract（参考訳）: 最近の大型言語モデル(llm)のリリース、例えばchatgptは、人間に似たテキストを生成することに驚いているが、それらはテキストの真正性に影響を与える可能性がある。
以前の研究では、単純なml分類器、事前訓練されたモデルベースのゼロショットメソッド、微調整された言語分類モデルを含む、これらのai生成テキストを検出する方法を提案した。
しかし、メインストリーム検出器は常にSMS、ツイート、レビューなどの短いテキストで失敗する。
本稿では,長文を犠牲にすることなく短文検出の難しさを解決するために,MPU(Multiscale Positive-Unlabeled)トレーニングフレームワークを提案する。
まず, 短機械テキストの人間組立性を認め, これらの短機械テキストを部分的に「未ラベル化」とみなして, 部分的正の非ラベル化(PU)問題としてAIテキスト検出を言い換える。
次に,このpuコンテキストにおいて,多変量コーパスの正の事前推定に抽象的再帰モデルを用いる,長さに敏感な多変量pu損失を提案する。
さらに,トレーニングコーパスを強化するためのテキストマルチスケーリングモジュールも導入する。
実験の結果,MPU法は長いAI生成テキストの検出性能を向上し,言語モデル検出の短文検出を大幅に改善することがわかった。
MPUで訓練された言語モデルは、様々な短文および長文検出ベンチマークで既存の検出器より優れている。
コードはhttps://github.com/mindspore-lab/mindone/tree/examples/detect_chatgptとhttps://github.com/YuchuanTian/AIGC_text_detectorで入手できる。
関連論文リスト
- DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。
DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。
我々の手法はテキストエンコーダと互換性がある。
論文 参考訳（メタデータ） (2024-10-28T12:34:49Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。
本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。
我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
論文 参考訳（メタデータ） (2024-09-22T01:13:22Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:23:10Z) - Towards a Robust Detection of Language Model Generated Text: Is ChatGPT
that Easy to Detect? [0.0]
本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。
提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。
その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
論文 参考訳（メタデータ） (2023-06-09T13:03:53Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳（メタデータ） (2023-05-17T00:09:08Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。