論文の概要: EAGLE: A Domain Generalization Framework for AI-generated Text Detection
- arxiv url: http://arxiv.org/abs/2403.15690v1
- Date: Sat, 23 Mar 2024 02:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 21:32:08.115670
- Title: EAGLE: A Domain Generalization Framework for AI-generated Text Detection
- Title(参考訳): EAGLE:AI生成テキスト検出のためのドメイン一般化フレームワーク
- Authors: Amrita Bhattacharjee, Raha Moraffah, Joshua Garland, Huan Liu,
- Abstract要約: 本稿では,未知のターゲットジェネレータからAI生成テキストを検出するための領域一般化フレームワークを提案する。
我々は,未知のターゲットジェネレータが生成したテキストの検出において,我々のフレームワークがいかに効果的に優れた性能を実現するかを実証する。
- 参考スコア(独自算出の注目度): 15.254775341371364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advancement in capabilities of Large Language Models (LLMs), one major step in the responsible and safe use of such LLMs is to be able to detect text generated by these models. While supervised AI-generated text detectors perform well on text generated by older LLMs, with the frequent release of new LLMs, building supervised detectors for identifying text from such new models would require new labeled training data, which is infeasible in practice. In this work, we tackle this problem and propose a domain generalization framework for the detection of AI-generated text from unseen target generators. Our proposed framework, EAGLE, leverages the labeled data that is available so far from older language models and learns features invariant across these generators, in order to detect text generated by an unknown target generator. EAGLE learns such domain-invariant features by combining the representational power of self-supervised contrastive learning with domain adversarial training. Through our experiments we demonstrate how EAGLE effectively achieves impressive performance in detecting text generated by unseen target generators, including recent state-of-the-art ones such as GPT-4 and Claude, reaching detection scores of within 4.7% of a fully supervised detector.
- Abstract(参考訳): LLM(Large Language Models)の能力の進歩により、そのようなLLMの責任と安全な使用の1つの大きなステップは、これらのモデルによって生成されたテキストを検出することである。
教師付きAI生成テキスト検出器は、古いLLMが生成したテキスト上でよく機能するが、新しいLLMを頻繁にリリースする一方で、そのような新しいモデルからテキストを識別するための教師付き検出器を構築するには、実際には不可能な新しいラベル付きトレーニングデータが必要である。
本研究では,この課題に対処し,未知のターゲットジェネレータからAI生成テキストを検出するための領域一般化フレームワークを提案する。
提案するフレームワークであるEAGLEは,古い言語モデルから利用可能なラベル付きデータを活用し,未知のターゲットジェネレータによって生成されたテキストを検出するために,これらのジェネレータ間で不変な特徴を学習する。
EAGLEは、自己教師付きコントラスト学習の表現力とドメインの敵対的訓練を組み合わせることで、そのようなドメイン不変の特徴を学習する。
GPT-4やClaudeのような最近の最先端のテキストを含む、未確認のターゲットジェネレータが生成するテキストの検出において、EAGLEが、完全に教師された検出器の4.7%以内の検出スコアを効果的に達成する方法を実証した。
関連論文リスト
- Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
単純だが効果的なブラックボックスゼロショット検出手法を提案する。
人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。
提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
論文 参考訳(メタデータ) (2024-05-07T12:57:01Z) - LLM-Detector: Improving AI-Generated Chinese Text Detection with
Open-Source LLM Instruction Tuning [4.328134379418151]
既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。
LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
論文 参考訳(メタデータ) (2024-02-02T05:54:12Z) - Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text [8.290557547578146]
プリトレーニング済みのT5エンコーダとLLM埋め込みサブクラスタリングを組み合わせた,機械生成テキスト検出システムT5LLMCipherを導入する。
提案手法は,機械生成テキストの平均F1スコアが19.6%増加し,非可視ジェネレータやドメインでF1スコアが平均上昇する,最先端の一般化能力を提供する。
論文 参考訳(メタデータ) (2024-01-17T18:45:13Z) - A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。
本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文 参考訳(メタデータ) (2023-11-06T13:11:02Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳(メタデータ) (2023-10-13T07:18:53Z) - On the Zero-Shot Generalization of Machine-Generated Text Detectors [41.25534723956849]
大規模な言語モデルは、人間が書く言語と区別できないテキストを生成するのに十分な流動性を持っている。
この研究は重要な研究課題によって動機付けられている: 機械が生成したテキストの検出器は、新しい発電機の出力でどのように動作し、検出器が訓練されていないか?
論文 参考訳(メタデータ) (2023-10-08T13:49:51Z) - ConDA: Contrastive Domain Adaptation for AI-generated Text Detection [17.8787054992985]
大規模言語モデル(LLM)は、ニュース記事のテキスト生成にますます利用されている。
これらのLSMを大規模に偽情報を生成できる潜在的な悪意のある性質を考えると、このようなAI生成テキストのための効果的な検出器を構築することが重要である。
本研究では、AI生成したニューステキストの検出において、このデータ問題に取り組み、その問題を教師なしドメイン適応タスクとしてフレーム化する。
論文 参考訳(メタデータ) (2023-09-07T19:51:30Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。