論文の概要: LLM-Detector: Improving AI-Generated Chinese Text Detection with
Open-Source LLM Instruction Tuning
- arxiv url: http://arxiv.org/abs/2402.01158v1
- Date: Fri, 2 Feb 2024 05:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 16:36:48.566894
- Title: LLM-Detector: Improving AI-Generated Chinese Text Detection with
Open-Source LLM Instruction Tuning
- Title(参考訳): LLM-detector: オープンソースのLLM命令チューニングによるAI生成中国語テキスト検出の改善
- Authors: Rongsheng Wang and Haoming Chen and Ruizhe Zhou and Han Ma and Yaofei
Duan and Yanlan Kang and Songhua Yang and Baoyu Fan and Tao Tan
- Abstract要約: 既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。
LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
- 参考スコア(独自算出の注目度): 4.328134379418151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ChatGPT and other general large language models (LLMs) have achieved
remarkable success, but they have also raised concerns about the misuse of
AI-generated texts. Existing AI-generated text detection models, such as based
on BERT and RoBERTa, are prone to in-domain over-fitting, leading to poor
out-of-domain (OOD) detection performance. In this paper, we first collected
Chinese text responses generated by human experts and 9 types of LLMs, for
which to multiple domains questions, and further created a dataset that mixed
human-written sentences and sentences polished by LLMs. We then proposed
LLM-Detector, a novel method for both document-level and sentence-level text
detection through Instruction Tuning of LLMs. Our method leverages the wealth
of knowledge LLMs acquire during pre-training, enabling them to detect the text
they generate. Instruction tuning aligns the model's responses with the user's
expected text detection tasks. Experimental results show that previous methods
struggle with sentence-level AI-generated text detection and OOD detection. In
contrast, our proposed method not only significantly outperforms baseline
methods in both sentence-level and document-level text detection but also
demonstrates strong generalization capabilities. Furthermore, since
LLM-Detector is trained based on open-source LLMs, it is easy to customize for
deployment.
- Abstract(参考訳): ChatGPTや他の一般的な大規模言語モデル(LLM)は目覚ましい成功を収めているが、AI生成テキストの誤用も懸念されている。
BERTやRoBERTaなど、既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなり、ドメイン外検出(OOD)のパフォーマンスが低下する。
そこで本研究では,まず,人文専門家が生成した中国語のテキスト応答を,複数のドメインに質問する9種類のLLMを用いて収集し,さらに,LLMによる文章と文を混合したデータセットを作成した。
LLMのインストラクションチューニングによる文書レベルと文レベルのテキスト検出のための新しい手法であるLLM-Detectorを提案する。
本手法は,事前学習中に獲得した知識llmを活用し,生成したテキストを検出する。
インストラクションチューニングは、モデルの応答とユーザの期待するテキスト検出タスクを調整します。
実験の結果,従来手法は文レベルのAI生成テキスト検出とOOD検出に苦慮していた。
対照的に,提案手法は文レベルおよび文書レベルのテキスト検出において,ベースライン法を著しく上回るだけでなく,強力な一般化能力を示す。
さらに、LLM-DetectorはオープンソースのLLMに基づいてトレーニングされているため、デプロイメント用にカスタマイズが容易である。
関連論文リスト
- Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - A Survey on LLM-generated Text Detection: Necessity, Methods, and Future
Directions [41.71052488278973]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
検出器技術は最近、透かし技術、ゼロショット法、微動LMs法、対向学習法、LSMを検出器として使う方法、そして人力支援法などの革新によって、顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳(メタデータ) (2023-10-13T07:18:53Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with
Adversarially Generated Examples [44.118047780553006]
OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。
実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。
この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
論文 参考訳(メタデータ) (2023-07-21T17:40:47Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。