論文の概要: How well can machine-generated texts be identified and can language models be trained to avoid identification?

• arxiv url: http://arxiv.org/abs/2310.16992v1
• Date: Wed, 25 Oct 2023 20:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:25:31.209781
• Title: How well can machine-generated texts be identified and can language models be trained to avoid identification?
• Title（参考訳）: マシン生成したテキストをどの程度識別できるのか、そして、識別を避けるために言語モデルを訓練できるか?
• Authors: Sinclair Schneider, Florian Steuber, Joao A. G. Schneider, Gabi Dreo Rodosek
• Abstract要約: 合成ツイートを生成するために、5つの異なる言語モデルを洗練します。 ナイーブベイズのような浅層学習分類アルゴリズムは0.6から0.8の精度で検出できることがわかった。 生成モデルを改良するために強化学習アプローチを用いることで,検出精度0.15以下でBERTベースの分類を回避できることが判明した。
• 参考スコア（独自算出の注目度）: 1.1606619391009658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of generative pre-trained transformer models such as GPT-3, GPT-NeoX, or OPT, distinguishing human-generated texts from machine-generated ones has become important. We refined five separate language models to generate synthetic tweets, uncovering that shallow learning classification algorithms, like Naive Bayes, achieve detection accuracy between 0.6 and 0.8. Shallow learning classifiers differ from human-based detection, especially when using higher temperature values during text generation, resulting in a lower detection rate. Humans prioritize linguistic acceptability, which tends to be higher at lower temperature values. In contrast, transformer-based classifiers have an accuracy of 0.9 and above. We found that using a reinforcement learning approach to refine our generative models can successfully evade BERT-based classifiers with a detection accuracy of 0.15 or less.
• Abstract（参考訳）: GPT-3, GPT-NeoX, OPTなどの生成事前学習型トランスフォーマーモデルの台頭により, 人為的テキストと機械的テキストを区別することが重要になった。 合成つぶやきを生成するために5つの言語モデルを改良し、Naive Bayesのような浅い学習分類アルゴリズムが0.6から0.8の精度で検出できることを示した。 浅い学習分類器は、特にテキスト生成時に高い温度値を使用する場合、人間に基づく検出と異なり、検出率を低下させる。 人間は、低い温度で高い傾向にある言語受容性を優先する。 対照的に、変圧器ベースの分類器は0.9以上の精度を持つ。 生成モデルを改良するために強化学習アプローチを用いることで,検出精度0.15以下でBERTベースの分類を回避できることがわかった。

関連論文リスト

• Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection [0.0]
  そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。 生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
  論文  参考訳（メタデータ） (2024-06-18T12:58:01Z)
• Large Language Model (LLM) AI text generation detection based on transformer deep learning algorithm [0.9004420912552793]
  トランスフォーマーモデルを用いてAIテキスト生成を検出するツールを開発する。 ディープラーニングモデルは、テキスト分類やシーケンスラベリングタスクのためにLSTM、Transformer、CNNなどのレイヤを組み合わせる。 このモデルはAI生成テキストの99%の予測精度を持ち、精度は0.99、リコールは1、f1スコアは0.99であり、非常に高い分類精度を達成する。
  論文  参考訳（メタデータ） (2024-04-06T06:22:45Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• DIALOG-22 RuATD Generated Text Detection [0.0]
  TGM生成テキストと人書きテキストを区別できる検出器は、TGMの乱用を防ぐ重要な役割を果たす。 DIALOG-22 RuATDタスクのパイプラインを記述し、生成したテキスト(バイナリタスク)を検出し、どのモデルを使用してテキストを生成するかの分類を行う。
  論文  参考訳（メタデータ） (2022-06-16T09:33:26Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。