論文の概要: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- arxiv url: http://arxiv.org/abs/2305.18149v1
- Date: Mon, 29 May 2023 15:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 14:29:57.270174
- Title: Multiscale Positive-Unlabeled Detection of AI-Generated Texts
- Title（参考訳）: ai生成テキストのマルチスケール正ラベル検出
- Authors: Yuchuan Tian, Hanting Chen, Xutao Wang, Zheyuan Bai, Qinghua Zhang,
Ruifeng Li, Chao Xu, Yunhe Wang
- Abstract要約: マルチスケールテキスト検出の課題を解決するために,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短絡検出を大幅に改善する。
- 参考スコア（独自算出の注目度）: 30.754628206417806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent releases of Large Language Models (LLMs), e.g. ChatGPT, are
astonishing at generating human-like texts, but they may get misused for fake
scholarly texts, fake news, fake tweets, et cetera. Previous works have
proposed methods to detect these multiscale AI-generated texts, including
simple ML classifiers, pretrained-model-based training-agnostic methods, and
finetuned language classification models. However, mainstream detectors are
formulated without considering the factor of corpus length: shorter corpuses
are harder to detect compared with longer ones for shortage of informative
features. In this paper, a Multiscale Positive-Unlabeled (MPU) training
framework is proposed to address the challenge of multiscale text detection.
Firstly, we acknowledge the human-resemblance property of short machine texts,
and rephrase text classification as a Positive-Unlabeled (PU) problem by
marking these short machine texts as "unlabeled" during training. In this PU
context, we propose the length-sensitive Multiscale PU Loss, where we use a
recurrent model in abstraction to estimate positive priors of scale-variant
corpuses. Additionally, we introduce a Text Multiscaling module to enrich
training corpuses. Experiments show that our MPU method augments detection
performance on long AI-generated text, and significantly improves short-corpus
detection of language model detectors. Language Models trained with MPU could
outcompete existing detectors by large margins on multiscale AI-generated
texts. The codes are available at
https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
and https://github.com/huawei-noah/Efficient-Computing/AIGC_text_detector.
- Abstract（参考訳）: 近年のLarge Language Models(LLM)、例えばChatGPT(英語版)は、人間のようなテキストを生成することに驚いているが、偽の学術的テキスト、偽ニュース、偽のツイートなどに誤用される可能性がある。
従来の研究では、単純なML分類器、事前訓練されたモデルに基づくトレーニング非依存の手法、微調整された言語分類モデルなど、これらのマルチスケールAI生成テキストを検出する方法が提案されている。
しかし、主流検出器はコーパス長の因子を考慮せずに定式化され、より短いコーパスは情報的特徴が不足しているため、より長いコーパスに比べて検出が困難である。
本稿では,マルチスケールテキスト検出の課題を解決するために,MPU(Multiscale Positive-Unlabeled)トレーニングフレームワークを提案する。
まず,ショートマシンテキストの人間的類似性を認め,これらの短いマシンテキストをトレーニング中に「ラベルなし」とマークすることで,肯定的ラベル付き(pu)問題としてテキスト分類を再現する。
このPUの文脈では、スケール不変コーパスの正の先行を推定するために、繰り返しモデルを抽象的に使用する、長さに敏感なマルチスケールPU損失を提案する。
さらに,トレーニングコーパスを充実させるためのテキストマルチスケーリングモジュールも導入する。
実験の結果,MPU法は長いAI生成テキストの検出性能を向上し,言語モデル検出器の短絡検出を大幅に改善することがわかった。
MPUで訓練された言語モデルは、マルチスケールのAI生成テキストに対して、既存の検出器を大きなマージンで上回る可能性がある。
コードはhttps://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgptとhttps://github.com/huawei-noah/Efficient-Computing/AIGC_text_detectorで入手できる。
関連論文リスト
- DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。
DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。
我々の手法はテキストエンコーダと互換性がある。
論文 参考訳（メタデータ） (2024-10-28T12:34:49Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。
本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。
我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
論文 参考訳（メタデータ） (2024-09-22T01:13:22Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:23:10Z) - Towards a Robust Detection of Language Model Generated Text: Is ChatGPT
that Easy to Detect? [0.0]
本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。
提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。
その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
論文 参考訳（メタデータ） (2023-06-09T13:03:53Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳（メタデータ） (2023-05-17T00:09:08Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。