論文の概要: Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection

• arxiv url: http://arxiv.org/abs/2406.12570v1
• Date: Tue, 18 Jun 2024 12:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:07:52.574611
• Title: Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection
• Title（参考訳）: モデル非依存型テキスト検出へのアンサンブル法の適用
• Authors: Ivan Ong, Boon King Quek,
• Abstract要約: そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。 生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the problem of detecting machine-generated text when the large language model (LLM) it is possibly derived from is unknown. We do so by apply ensembling methods to the outputs from DetectGPT classifiers (Mitchell et al. 2023), a zero-shot model for machine-generated text detection which is highly accurate when the generative (or base) language model is the same as the discriminative (or scoring) language model. We find that simple summary statistics of DetectGPT sub-model outputs yield an AUROC of 0.73 (relative to 0.61) while retaining its zero-shot nature, and that supervised learning methods sharply boost the accuracy to an AUROC of 0.94 but require a training dataset. This suggests the possibility of further generalisation to create a highly-accurate, model-agnostic machine-generated text detector.
• Abstract（参考訳）: 本稿では,大言語モデル (LLM) から派生したものが不明な場合に,機械生成テキストを検出する問題について検討する。 我々は、生成的(またはベース)言語モデルと識別的(またはスコアリング)言語モデルが同一である場合に高い精度で、機械生成テキスト検出のためのゼロショットモデルであるDerctionGPT分類器(Mitchell et al 2023)の出力にアンサンブル手法を適用する。 DetectGPTサブモデル出力の単純な要約統計は、0ショット特性を維持しながらAUROCが0.73(約0.61)であり、教師付き学習手法は精度を0.94に急激に向上させるが、訓練データセットを必要とする。 これは、高度に正確なモデルに依存しない機械生成テキスト検出器を作成するためのさらなる一般化の可能性を示している。

関連論文リスト

• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• How well can machine-generated texts be identified and can language models be trained to avoid identification? [1.1606619391009658]
  合成ツイートを生成するために、5つの異なる言語モデルを洗練します。 ナイーブベイズのような浅層学習分類アルゴリズムは0.6から0.8の精度で検出できることがわかった。 生成モデルを改良するために強化学習アプローチを用いることで,検出精度0.15以下でBERTベースの分類を回避できることが判明した。
  論文  参考訳（メタデータ） (2023-10-25T20:43:07Z)
• Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature [36.31281981509264]
  大規模言語モデル(LLM)は、流動的でコジェントなコンテンツを生成する能力を示している。 信頼できるAIシステムを構築するためには、マシン生成コンテンツと人間によるコンテンツとを区別することが不可欠である。 Fast-DetectGPTは、ディテクターGPTの摂動ステップを、より効率的なサンプリングステップで置き換える最適化されたゼロショット検出器である。
  論文  参考訳（メタデータ） (2023-10-08T11:41:28Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Unsupervised and Distributional Detection of Machine-Generated Text [1.552214657968262]
  自然言語生成モデルのパワーは、テキストが人間かマシンオーサリングされているかを検出する自動手法への関心の高まりを引き起こしている。 繰り返し高次n-gramを利用した機械生成文書の検出手法を提案する。 我々の実験は、その信号を利用することで、不審な文書を正確にランク付けできることを示している。
  論文  参考訳（メタデータ） (2021-11-04T14:07:46Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。