論文の概要: Your Large Language Models Are Leaving Fingerprints
- arxiv url: http://arxiv.org/abs/2405.14057v1
- Date: Wed, 22 May 2024 23:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:44:34.062456
- Title: Your Large Language Models Are Leaving Fingerprints
- Title(参考訳): 大型の言語モデルが指紋を残している
- Authors: Hope McGovern, Rickard Stureborg, Yoshi Suhara, Dimitris Alikaniotis,
- Abstract要約: LLMには、特定の語彙的特徴と形態的特徴の頻度のわずかな違いを示すユニークな指紋がある。
このような指紋を視覚化し、機械が生成したテキストをどうやって検出できるかを説明し、テキストドメイン全体でさらに堅牢であることを示す。
- 参考スコア(独自算出の注目度): 1.9561775591923982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has been shown that finetuned transformers and other supervised detectors effectively distinguish between human and machine-generated text in some situations arXiv:2305.13242, but we find that even simple classifiers on top of n-gram and part-of-speech features can achieve very robust performance on both in- and out-of-domain data. To understand how this is possible, we analyze machine-generated output text in five datasets, finding that LLMs possess unique fingerprints that manifest as slight differences in the frequency of certain lexical and morphosyntactic features. We show how to visualize such fingerprints, describe how they can be used to detect machine-generated text and find that they are even robust across textual domains. We find that fingerprints are often persistent across models in the same model family (e.g. llama-13b vs. llama-65b) and that models fine-tuned for chat are easier to detect than standard language models, indicating that LLM fingerprints may be directly induced by the training data.
- Abstract(参考訳): 微細変換器や他の教師付き検出器は、いくつかの状況において、人間と機械が生成するテキストを効果的に区別できることが示されている:arXiv:2305.13242 しかし、n-gramと部分音声の特徴の上の単純な分類器でさえ、ドメイン内データと外部データの両方において非常に堅牢なパフォーマンスを実現することができる。
そこで本研究では,LLMが特定の語彙的特徴と形態的特徴の頻度のわずかな差を示すユニークな指紋を持っていることを発見した。
このような指紋を視覚化し、機械が生成したテキストをどうやって検出できるかを説明し、テキストドメイン全体でさらに堅牢であることを示す。
同一モデルファミリ内のモデル(例えば llama-13b vs. llama-65b)間で指紋が持続し、チャット用に微調整されたモデルは標準言語モデルよりも検出しやすく、LLM指紋はトレーニングデータによって直接誘導される可能性があることを示す。
関連論文リスト
- SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison [2.7147912878168303]
我々は,(1)小規模(選挙,FIFA,ゲーム・オブ・スローンズからのツイート),(2)媒体(Wikipedia導入,PubMed要約),(3)大規模(OpenAI Webテキストデータセット)の4つのデータセットにおける機械学習アルゴリズムの性能を比較した。
その結果,非常に大きなパラメータを持つLCM(例えば1542万パラメータを持つGPT2のXL-1542変種など)は,従来の機械学習手法による検出が困難であることが示唆された。
言語学,人格,感情,偏見,道徳など,多次元にわたる人文・機械文の特徴について検討する。
論文 参考訳(メタデータ) (2024-06-28T22:19:01Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-02-27T14:16:19Z) - Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。
本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。
Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
論文 参考訳(メタデータ) (2024-01-22T16:09:47Z) - Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。
そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。
また,人間と機械作家の区別にも有効であることがわかった。
論文 参考訳(メタデータ) (2024-01-12T17:26:51Z) - M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection [69.29017069438228]
大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。
本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
論文 参考訳(メタデータ) (2023-05-24T08:55:11Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Catch Me If You Can: Deceiving Stance Detection and Geotagging Models to
Protect Privacy of Individuals on Twitter [3.928604516640069]
調査は2つの露光リスキーなタスク、姿勢検出とジオタグ付けに基礎を置いている。
そこで本研究では,テキスト修正のための多種多様なテクニックを探求する。例えば,テキストに接頭辞を挿入したり,言い換えたり,ダミーなソーシャルメディア投稿を追加したりすることなどである。
タイプミスは、ソーシャルネットワークに依存しているため、最先端のジオタグモデルに最小限の影響があることがわかった。
論文 参考訳(メタデータ) (2022-07-23T11:55:18Z) - How much do language models copy from their training data? Evaluating
linguistic novelty in text generation using RAVEN [63.79300884115027]
現在の言語モデルは高品質なテキストを生成することができる。
彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか?
本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
論文 参考訳(メタデータ) (2021-11-18T04:07:09Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳(メタデータ) (2020-10-15T02:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。