論文の概要: LLMDet: A Large Language Models Detection Tool
- arxiv url: http://arxiv.org/abs/2305.15004v1
- Date: Wed, 24 May 2023 10:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:54:44.843939
- Title: LLMDet: A Large Language Models Detection Tool
- Title（参考訳）: LLMDet:大規模言語モデル検出ツール
- Authors: Kangxi Wu, Liang Pang, Huawei Shen, Xueqi Cheng and Tat-Seng Chua
- Abstract要約: LLMDetと呼ばれる,効率的でセキュアでスケーラブルな検出ツールを提案する。
モデルの次の確率の事前情報を利用して、テキストのプロキシパープレキシティを算出する。
次に、プロキシパープレキシティによって測定されたモデルの自己透かし情報を使用して、テキストのソースを検出する。
- 参考スコア（独自算出の注目度）: 108.17299794531348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advancement of generative language models, the generated text has
come remarkably close to high-quality human-authored text in terms of fluency
and diversity. This calls for a highly practical detection tool that can
identify the source of text, preferably pinpointing the language model it
originates from. However, existing detection tools typically require access to
language models and can only differentiate between machine-generated and
human-authored text, failing to meet the requirements of rapid detection and
text tracing. Therefore, in this paper, we propose an efficient, secure, and
scalable detection tool called LLMDet, which calculates the proxy perplexity of
text by utilizing the prior information of the model's next-token
probabilities, obtained through pre-training. Subsequently, we use the
self-watermarking information of the model, as measured by proxy perplexity, to
detect the source of the text. We found that our method demonstrates impressive
detection performance while ensuring speed and security, particularly achieving
a recognition accuracy of 97.97\% for human-authored text. Furthermore, our
detection tool also shows promising results in identifying the large language
model (e.g., GPT-2, OPT, LLaMA, Vicuna...) responsible for the text. We release
the code and processed data at \url{https://github.com/TrustedLLM/LLMDet}.
- Abstract（参考訳）: 生成言語モデルの進歩により、生成されたテキストは、流布度や多様性の観点から、高品質な人間によるテキストに著しく近づきつつある。
これは、テキストのソースを識別できる非常に実用的な検出ツールであり、好ましくはそれが発する言語モデルをピンポイントする。
しかし、既存の検出ツールは一般的に言語モデルへのアクセスを必要としており、マシン生成されたテキストと人間によるテキストの区別しかできない。
そこで本稿では,事前学習により得られたモデルの次の予測確率の事前情報を利用して,テキストのプロキシ・パープレキシティを算出できる,効率的でセキュアでスケーラブルな検出ツールであるllmdetを提案する。
その後、プロキシのパープレキシティによって測定されたモデルの自己透かし情報を用いて、テキストのソースを検出する。
提案手法は, 速度と安全性を確保しつつ, 特に, 97.97\%の認識精度を実現し, 印象的な検出性能を示した。
さらに,本ツールでは,テキストに責任を持つ大規模言語モデル(GPT-2, OPT, LLaMA, Vicuna...)を識別する有望な結果を示す。
コードと処理データを \url{https://github.com/trustedllm/llmdet} でリリースします。
関連論文リスト
- "I know myself better, but not really greatly": Using LLMs to Detect and Explain LLM-Generated Texts [10.454446545249096]
大規模言語モデル(LLM)は、人間のようなテキストを生成する際、印象的な能力を示した。
本稿では,LLMによる人為的テキストの検出と説明機能について検討する。
論文 参考訳（メタデータ） (2025-02-18T11:00:28Z) - Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。
我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。
本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
論文 参考訳（メタデータ） (2025-01-06T18:46:53Z) - Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。
生成したテキストの強力な検出器を開発することがますます重要になっている。
この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
論文 参考訳（メタデータ） (2024-11-09T18:27:15Z) - GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳（メタデータ） (2024-10-31T08:30:55Z) - SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。
情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
論文 参考訳（メタデータ） (2024-05-30T21:51:01Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
本稿では,これらのモデルで共有される共通特性について述べる。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:38:33Z) - Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
単純だが効果的なブラックボックスゼロショット検出手法を提案する。
人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。
提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
論文 参考訳（メタデータ） (2024-05-07T12:57:01Z) - LLM-Detector: Improving AI-Generated Chinese Text Detection with
Open-Source LLM Instruction Tuning [4.328134379418151]
既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。
LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
論文 参考訳（メタデータ） (2024-02-02T05:54:12Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳（メタデータ） (2023-05-31T10:08:37Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。