論文の概要: DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of Machine-Generated Text

• arxiv url: http://arxiv.org/abs/2306.05540v1
• Date: Tue, 23 May 2023 11:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-18 13:11:06.778886
• Title: DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of Machine-Generated Text
• Title（参考訳）: detectllm: マシン生成テキストのゼロショット検出にログランク情報を活用する
• Authors: Jinyan Su, Terry Yue Zhuo, Di Wang, Preslav Nakov
• Abstract要約: ログランク情報を利用して、機械生成テキストを検出する新しいゼロショット手法を2つ導入する。 ひとつは高速で効率のよい DetectLLM-LRR で、もうひとつは DetectLLM-NPR と呼ばれ、より正確だが摂動が必要なため遅い。 3つのデータセットと7つの言語モデルによる実験により,提案手法は3.9点,1.75点のAUROC点を絶対的に改善することを確認した。
• 参考スコア（独自算出の注目度）: 26.02072055825044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid progress of large language models (LLMs) and the huge amount of text they generated, it becomes more and more impractical to manually distinguish whether a text is machine-generated. Given the growing use of LLMs in social media and education, it prompts us to develop methods to detect machine-generated text, preventing malicious usage such as plagiarism, misinformation, and propaganda. Previous work has studied several zero-shot methods, which require no training data. These methods achieve good performance, but there is still a lot of room for improvement. In this paper, we introduce two novel zero-shot methods for detecting machine-generated text by leveraging the log rank information. One is called DetectLLM-LRR, which is fast and efficient, and the other is called DetectLLM-NPR, which is more accurate, but slower due to the need for perturbations. Our experiments on three datasets and seven language models show that our proposed methods improve over the state of the art by 3.9 and 1.75 AUROC points absolute. Moreover, DetectLLM-NPR needs fewer perturbations than previous work to achieve the same level of performance, which makes it more practical for real-world use. We also investigate the efficiency--performance trade-off based on users preference on these two measures and we provide intuition for using them in practice effectively. We release the data and the code of both methods in https://github.com/mbzuai-nlp/DetectLLM
• Abstract（参考訳）: 大規模言語モデル(llm)の急速な進歩と大量のテキストの生成により、テキストがマシン生成であるかどうかを手作業で区別することがますます非現実的になっている。 ソーシャルメディアや教育におけるLLMの利用の増加を踏まえ,機械によるテキストの検出手法を開発し,盗作や誤情報,プロパガンダなどの悪意ある使用を防止することを促す。 これまでの研究では、トレーニングデータを必要としないゼロショット法がいくつか研究されている。 これらの手法は優れたパフォーマンスを実現しますが、改善の余地はたくさんあります。 本稿では,ログランク情報を利用してマシン生成テキストを検出する2つのゼロショット方式を提案する。 ひとつは高速で効率のよい DetectLLM-LRR で、もうひとつは DetectLLM-NPR と呼ばれ、より正確だが摂動が必要なため遅い。 3つのデータセットと7つの言語モデルによる実験により,提案手法は3.9点と1.75点のAUROC点を絶対的に改善することを示した。 さらに、T DetectLLM-NPRは、同じレベルのパフォーマンスを達成するために、以前の作業よりも摂動を少なくする必要があります。 また,この2つの尺度に対するユーザの嗜好に基づく効率性・パフォーマンス上のトレードオフについても検討し,その有効性について直観的に考察する。 両メソッドのデータとコードはhttps://github.com/mbzuai-nlp/DetectLLMで公開しています。

関連論文リスト

• DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
  我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。 我々は,現在のSOTA検出器の強度と限界を明らかにした。 DetectRLは、実世界のシナリオにおける検出器の評価に有効なベンチマークになり得ると考えている。
  論文  参考訳（メタデータ） (2024-10-31T09:01:25Z)
• ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
  本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。 本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。 我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
  論文  参考訳（メタデータ） (2024-09-22T01:13:22Z)
• LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection [87.43727192273772]
  テキストが人間の書いたものなのか、機械で作られたものなのかを判断するのは、しばしば困難である。 細粒度検出のためのLLM-DetectAIveを提案する。 i) 人書き、ii) 機械生成、(iii) 機械書、次いで機械書、(iv) 人書き、そして機械ポリッシュの4つのカテゴリをサポートする。
  論文  参考訳（メタデータ） (2024-08-08T07:43:17Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Efficient Concept Drift Handling for Batch Android Malware Detection Models [0.0]
  我々は、リトレーニング技術が検知能力を時間とともに維持できることを示す。 実験により, ドリフト検出とサンプル選択機構は, 極めて効率的な再学習戦略をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-09-18T14:28:18Z)
• ConDA: Contrastive Domain Adaptation for AI-generated Text Detection [17.8787054992985]
  大規模言語モデル(LLM)は、ニュース記事のテキスト生成にますます利用されている。 これらのLSMを大規模に偽情報を生成できる潜在的な悪意のある性質を考えると、このようなAI生成テキストのための効果的な検出器を構築することが重要である。 本研究では、AI生成したニューステキストの検出において、このデータ問題に取り組み、その問題を教師なしドメイン適応タスクとしてフレーム化する。
  論文  参考訳（メタデータ） (2023-09-07T19:51:30Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Evaluating BERT-based Pre-training Language Models for Detecting Misinformation [2.1915057426589746]
  オンラインに投稿された全ての情報に対する監督が欠如しているため、オンライン情報の質を制御することは困難である。 誤報の拡散による悪影響を抑えるために, 自動的噂検出技術が必要である。 本研究では、BERTに基づく事前学習言語モデルを用いて、テキストデータをベクトルにエンコードし、ニューラルネットワークモデルを用いてこれらのベクトルを分類し、誤情報を検出する。
  論文  参考訳（メタデータ） (2022-03-15T08:54:36Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。