論文の概要: Your Large Language Models Are Leaving Fingerprints

• arxiv url: http://arxiv.org/abs/2405.14057v1
• Date: Wed, 22 May 2024 23:02:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:44:34.062456
• Title: Your Large Language Models Are Leaving Fingerprints
• Title（参考訳）: 大型の言語モデルが指紋を残している
• Authors: Hope McGovern, Rickard Stureborg, Yoshi Suhara, Dimitris Alikaniotis,
• Abstract要約: LLMには、特定の語彙的特徴と形態的特徴の頻度のわずかな違いを示すユニークな指紋がある。 このような指紋を視覚化し、機械が生成したテキストをどうやって検出できるかを説明し、テキストドメイン全体でさらに堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 1.9561775591923982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has been shown that finetuned transformers and other supervised detectors effectively distinguish between human and machine-generated text in some situations arXiv:2305.13242, but we find that even simple classifiers on top of n-gram and part-of-speech features can achieve very robust performance on both in- and out-of-domain data. To understand how this is possible, we analyze machine-generated output text in five datasets, finding that LLMs possess unique fingerprints that manifest as slight differences in the frequency of certain lexical and morphosyntactic features. We show how to visualize such fingerprints, describe how they can be used to detect machine-generated text and find that they are even robust across textual domains. We find that fingerprints are often persistent across models in the same model family (e.g. llama-13b vs. llama-65b) and that models fine-tuned for chat are easier to detect than standard language models, indicating that LLM fingerprints may be directly induced by the training data.
• Abstract（参考訳）: 微細変換器や他の教師付き検出器は、いくつかの状況において、人間と機械が生成するテキストを効果的に区別できることが示されている:arXiv:2305.13242 しかし、n-gramと部分音声の特徴の上の単純な分類器でさえ、ドメイン内データと外部データの両方において非常に堅牢なパフォーマンスを実現することができる。 そこで本研究では,LLMが特定の語彙的特徴と形態的特徴の頻度のわずかな差を示すユニークな指紋を持っていることを発見した。 このような指紋を視覚化し、機械が生成したテキストをどうやって検出できるかを説明し、テキストドメイン全体でさらに堅牢であることを示す。 同一モデルファミリ内のモデル(例えば llama-13b vs. llama-65b)間で指紋が持続し、チャット用に微調整されたモデルは標準言語モデルよりも検出しやすく、LLM指紋はトレーニングデータによって直接誘導される可能性があることを示す。

関連論文リスト

• RKadiyala at SemEval-2024 Task 8: Black-Box Word-Level Text Boundary Detection in Partially Machine Generated Texts [0.0]
  本稿では,与えられたテキストのどの部分が単語レベルで生成されたかを特定するための信頼性の高いアプローチをいくつか紹介する。 本稿では,プロプライエタリシステムとの比較,未確認領域におけるモデルの性能,ジェネレータのテキストの比較を行う。 その結果,検出能の他の側面との比較とともに,検出精度が著しく向上した。
  論文  参考訳（メタデータ） (2024-10-22T03:21:59Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
  密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。 本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。 Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-01-22T16:09:47Z)
• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。