論文の概要: DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of
Machine-Generated Text
- arxiv url: http://arxiv.org/abs/2306.05540v1
- Date: Tue, 23 May 2023 11:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-18 13:11:06.778886
- Title: DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of
Machine-Generated Text
- Title(参考訳): detectllm: マシン生成テキストのゼロショット検出にログランク情報を活用する
- Authors: Jinyan Su, Terry Yue Zhuo, Di Wang, Preslav Nakov
- Abstract要約: ログランク情報を利用して、機械生成テキストを検出する新しいゼロショット手法を2つ導入する。
ひとつは高速で効率のよい DetectLLM-LRR で、もうひとつは DetectLLM-NPR と呼ばれ、より正確だが摂動が必要なため遅い。
3つのデータセットと7つの言語モデルによる実験により,提案手法は3.9点,1.75点のAUROC点を絶対的に改善することを確認した。
- 参考スコア(独自算出の注目度): 26.02072055825044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid progress of large language models (LLMs) and the huge amount
of text they generated, it becomes more and more impractical to manually
distinguish whether a text is machine-generated. Given the growing use of LLMs
in social media and education, it prompts us to develop methods to detect
machine-generated text, preventing malicious usage such as plagiarism,
misinformation, and propaganda. Previous work has studied several zero-shot
methods, which require no training data. These methods achieve good
performance, but there is still a lot of room for improvement. In this paper,
we introduce two novel zero-shot methods for detecting machine-generated text
by leveraging the log rank information. One is called DetectLLM-LRR, which is
fast and efficient, and the other is called DetectLLM-NPR, which is more
accurate, but slower due to the need for perturbations. Our experiments on
three datasets and seven language models show that our proposed methods improve
over the state of the art by 3.9 and 1.75 AUROC points absolute. Moreover,
DetectLLM-NPR needs fewer perturbations than previous work to achieve the same
level of performance, which makes it more practical for real-world use. We also
investigate the efficiency--performance trade-off based on users preference on
these two measures and we provide intuition for using them in practice
effectively. We release the data and the code of both methods in
https://github.com/mbzuai-nlp/DetectLLM
- Abstract(参考訳): 大規模言語モデル(llm)の急速な進歩と大量のテキストの生成により、テキストがマシン生成であるかどうかを手作業で区別することがますます非現実的になっている。
ソーシャルメディアや教育におけるLLMの利用の増加を踏まえ,機械によるテキストの検出手法を開発し,盗作や誤情報,プロパガンダなどの悪意ある使用を防止することを促す。
これまでの研究では、トレーニングデータを必要としないゼロショット法がいくつか研究されている。
これらの手法は優れたパフォーマンスを実現しますが、改善の余地はたくさんあります。
本稿では,ログランク情報を利用してマシン生成テキストを検出する2つのゼロショット方式を提案する。
ひとつは高速で効率のよい DetectLLM-LRR で、もうひとつは DetectLLM-NPR と呼ばれ、より正確だが摂動が必要なため遅い。
3つのデータセットと7つの言語モデルによる実験により,提案手法は3.9点と1.75点のAUROC点を絶対的に改善することを示した。
さらに、T DetectLLM-NPRは、同じレベルのパフォーマンスを達成するために、以前の作業よりも摂動を少なくする必要があります。
また,この2つの尺度に対するユーザの嗜好に基づく効率性・パフォーマンス上のトレードオフについても検討し,その有効性について直観的に考察する。
両メソッドのデータとコードはhttps://github.com/mbzuai-nlp/DetectLLMで公開しています。
関連論文リスト
- Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳(メタデータ) (2023-10-08T10:08:21Z) - Efficient Concept Drift Handling for Batch Android Malware Detection
Models [0.0]
我々は、リトレーニング技術が検知能力を時間とともに維持できることを示す。
実験により, ドリフト検出とサンプル選択機構は, 極めて効率的な再学習戦略をもたらすことが示された。
論文 参考訳(メタデータ) (2023-09-18T14:28:18Z) - ConDA: Contrastive Domain Adaptation for AI-generated Text Detection [17.8787054992985]
大規模言語モデル(LLM)は、ニュース記事のテキスト生成にますます利用されている。
これらのLSMを大規模に偽情報を生成できる潜在的な悪意のある性質を考えると、このようなAI生成テキストのための効果的な検出器を構築することが重要である。
本研究では、AI生成したニューステキストの検出において、このデータ問題に取り組み、その問題を教師なしドメイン適応タスクとしてフレーム化する。
論文 参考訳(メタデータ) (2023-09-07T19:51:30Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳(メタデータ) (2023-03-26T21:12:36Z) - Robustifying Sentiment Classification by Maximally Exploiting Few
Counterfactuals [16.731183915325584]
そこで本研究では,トレーニングデータの少数のアノテーションのみを必要とする新しい手法を提案する。
また,手作業による正解率を1%に抑えることで,顕著な精度向上を実現した。
論文 参考訳(メタデータ) (2022-10-21T08:30:09Z) - PERFECT: Prompt-free and Efficient Few-shot Learning with Language
Models [67.3725459417758]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。
そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。
幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文 参考訳(メタデータ) (2022-04-03T22:31:25Z) - Evaluating BERT-based Pre-training Language Models for Detecting
Misinformation [2.1915057426589746]
オンラインに投稿された全ての情報に対する監督が欠如しているため、オンライン情報の質を制御することは困難である。
誤報の拡散による悪影響を抑えるために, 自動的噂検出技術が必要である。
本研究では、BERTに基づく事前学習言語モデルを用いて、テキストデータをベクトルにエンコードし、ニューラルネットワークモデルを用いてこれらのベクトルを分類し、誤情報を検出する。
論文 参考訳(メタデータ) (2022-03-15T08:54:36Z) - Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。
従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。
そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2021-11-04T04:39:02Z) - Wake Word Detection with Alignment-Free Lattice-Free MMI [66.12175350462263]
音声言語インタフェース、例えばパーソナルデジタルアシスタントは、音声入力の処理を開始するためにウェイクワードに依存している。
本稿では,部分的にラベル付けされたトレーニングデータから,ハイブリッドDNN/HMM覚醒単語検出システムの学習方法を提案する。
提案手法を2つの実データ集合上で評価し, 前報よりも50%~90%の誤報率の減少率を示した。
論文 参考訳(メタデータ) (2020-05-17T19:22:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。