論文の概要: LLM Paternity Test: Generated Text Detection with LLM Genetic Inheritance

• arxiv url: http://arxiv.org/abs/2305.12519v2
• Date: Sat, 23 Mar 2024 11:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:48:07.942196
• Title: LLM Paternity Test: Generated Text Detection with LLM Genetic Inheritance
• Title（参考訳）: LLMパタニティテスト:LLM遺伝的継承を用いたテキスト検出
• Authors: Xiao Yu, Yuang Qi, Kejiang Chen, Guoqiang Chen, Xi Yang, Pengyuan Zhu, Weiming Zhang, Nenghai Yu,
• Abstract要約: 大きな言語モデル(LLM)は、様々な誤用のリスクを負うテキストを生成することができる。 モデル関連テキスト検出手法 LLM Paternity Test (LLM-Pat) を提案する。 高い類似性は、候補テキストが遺伝的特性に似た機械生成であることを示している。
• 参考スコア（独自算出の注目度）: 58.63888295471187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can generate texts that carry the risk of various misuses, including plagiarism, planting fake reviews on e-commerce platforms, or creating inflammatory false tweets. Detecting whether a text is machine-generated has thus become increasingly important. While existing detection methods exhibit superior performance, they often lack generalizability due to their heavy dependence on training data. To alleviate this problem, we propose a model-related generated text detection method, the LLM Paternity Test (LLM-Pat). Specifically, given any candidate text (\textit{child}), LLM-Pat employs an intermediary LLM (\textit{parent}) to reconstruct a \textit{sibling} text corresponding to the given text and then measures the similarity between candidate texts and their sibling texts. High similarity indicates that the candidate text is machine-generated, akin to genetic traits. We have constructed datasets encompassing four scenarios: student responses in educational settings, news creation, academic paper writing, and social media bots to assess the performance of LLM-Pat. The experiments show that LLM-Pat outperforms the existing detection methods and is more robust against paraphrasing attacks and re-translating attacks. Besides, LLM-Pat can also be used to trace which large language model the text was generated by. The constructed dataset and code will be released to benefit the community.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、盗用、eコマースプラットフォームへの偽レビューの設置、炎症的な偽ツイートなどの、さまざまな誤用のリスクを負うテキストを生成することができる。 テキストが機械生成であるかどうかを検出することがますます重要になっている。 既存の検出方法は優れた性能を示すが、訓練データに大きく依存するため、一般化性に欠けることが多い。 この問題を軽減するため,LLMパタニティテスト(LLM-Pat)というモデル関連テキスト検出手法を提案する。 具体的には、任意の候補テキスト (\textit{child}) が与えられた場合、LLM-Pat は LLM (\textit{parent}) を使用して、与えられたテキストに対応する \textit{sibling} テキストを再構成し、候補テキストとそれらの兄弟テキストの類似度を測定する。 高い類似性は、候補テキストが遺伝的特性に似た機械生成であることを示している。 我々は,LLM-Patの性能を評価するために,教育環境における学生の反応,ニュース作成,学術論文作成,ソーシャルメディアボットの4つのシナリオを含むデータセットを構築した。 実験の結果, LLM-Patは既存の検出方法よりも優れており, パラフレーズ攻撃や再翻訳攻撃に対してより堅牢であることがわかった。 さらに、LLM-Patは、テキストが生成した大きな言語モデルを追跡するためにも使用できる。 構築されたデータセットとコードは、コミュニティに利益をもたらすためにリリースされます。

関連論文リスト

• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning [4.328134379418151]
  既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。 LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
  論文  参考訳（メタデータ） (2024-02-02T05:54:12Z)
• DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions [13.077729125193434]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:23:10Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。