論文の概要: MGTBench: Benchmarking Machine-Generated Text Detection
- arxiv url: http://arxiv.org/abs/2303.14822v1
- Date: Sun, 26 Mar 2023 21:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:22:32.832383
- Title: MGTBench: Benchmarking Machine-Generated Text Detection
- Title(参考訳): MGTBench: ベンチマークマシン生成テキスト検出
- Authors: Xinlei He and Xinyue Shen and Zeyuan Chen and Michael Backes and Yang
Zhang
- Abstract要約: 大規模言語モデル(LLM)は、人間によって書かれたテキストと区別が難しいような、人間のような言語を生成することができる。
MGTに対する既存の検出方法は、異なるモデルアーキテクチャ、データセット、実験的な設定で評価される。
我々はMGTBenchというMGT検出のための最初のベンチマークフレームワークを提案する。
- 参考スコア(独自算出の注目度): 27.72428018283079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nowadays large language models (LLMs) have shown revolutionary power in a
variety of natural language processing (NLP) tasks such as text classification,
sentiment analysis, language translation, and question-answering. In this way,
detecting machine-generated texts (MGTs) is becoming increasingly important as
LLMs become more advanced and prevalent. These models can generate human-like
language that can be difficult to distinguish from text written by a human,
which raises concerns about authenticity, accountability, and potential bias.
However, existing detection methods against MGTs are evaluated under different
model architectures, datasets, and experimental settings, resulting in a lack
of a comprehensive evaluation framework across different methodologies
In this paper, we fill this gap by proposing the first benchmark framework
for MGT detection, named MGTBench. Extensive evaluations on public datasets
with curated answers generated by ChatGPT (the most representative and powerful
LLMs thus far) show that most of the current detection methods perform less
satisfactorily against MGTs. An exceptional case is ChatGPT Detector, which is
trained with ChatGPT-generated texts and shows great performance in detecting
MGTs. Nonetheless, we note that only a small fraction of adversarial-crafted
perturbations on MGTs can evade the ChatGPT Detector, thus highlighting the
need for more robust MGT detection methods. We envision that MGTBench will
serve as a benchmark tool to accelerate future investigations involving the
evaluation of state-of-the-art MGT detection methods on their respective
datasets and the development of more advanced MGT detection methods. Our source
code and datasets are available at https://github.com/xinleihe/MGTBench.
- Abstract(参考訳): 今日では、テキスト分類、感情分析、言語翻訳、質問応答など、さまざまな自然言語処理(NLP)タスクにおいて、大きな言語モデル(LLM)が革命的な力を示している。
このように、機械生成テキスト(MGT)の検出は、LLMの進歩と普及に伴ってますます重要になっている。
これらのモデルは、人間が書いたテキストと区別しにくい人間のような言語を生成でき、それは、真正性、説明責任、潜在的なバイアスに関する懸念を引き起こす。
しかし,MGTBench と呼ばれるMGT検出のためのベンチマークフレームワークを提案することで,MGT に対する既存の検出手法を異なるモデルアーキテクチャ,データセット,実験条件で評価し,その結果,異なる手法にまたがる包括的な評価フレームワークが欠如している。
ChatGPT(これまで最も代表的で強力なLCM)が生成した公開データセットの広範囲な評価は、現在の検出手法のほとんどがMGTに対して満足度が低いことを示している。
例外的にChatGPT Detectorは、ChatGPT生成したテキストで訓練され、MGTの検出に優れた性能を示す。
ともあれ、MGTの逆転型摂動のごく一部しかChatGPT検出器を回避できないことに留意し、より堅牢なMGT検出方法の必要性を強調した。
MGTBenchは,それぞれのデータセット上での最先端のMGT検出手法の評価や,より高度なMGT検出手法の開発など,将来の調査を加速するためのベンチマークツールとして機能することを期待している。
ソースコードとデータセットはhttps://github.com/xinleihe/mgtbench.com/で利用可能です。
関連論文リスト
- Stumbling Blocks: Stress Testing the Robustness of Machine-Generated
Text Detectors Under Attacks [48.32116554279759]
一般的な機械生成テキスト検出器の強靭性について,編集,パラフレージング,プロンプト,コジェネレーションの様々なカテゴリの攻撃下で検討する。
我々の攻撃はジェネレータLSMへの限られたアクセスを前提としており、異なる予算レベルで異なる攻撃に対する検出器の性能を比較する。
全ての検知器を平均すると、全ての攻撃で性能は35%低下する。
論文 参考訳(メタデータ) (2024-02-18T16:36:00Z) - M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text
Detection [70.96684450854274]
大規模言語モデル(LLM)は、機械生成テキスト(MGT)に前例のない急上昇をもたらした。
このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。
これらの内容と本物の人間生成テキストを識別し区別する必要性は、偽情報との戦いにおいて重要である。
論文 参考訳(メタデータ) (2024-02-17T02:50:33Z) - SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection
with Multimodal Large Language Models [63.946809247201905]
フェーススプーフィングと偽造検出におけるMLLMの能力を評価するための新しいベンチマーク、ShielDを導入する。
我々は、これらの2つの顔セキュリティタスクにおいて、マルチモーダル顔データを評価するために、真/偽/複数選択の質問を設計する。
その結果,MLLMは顔セキュリティ領域において大きな可能性を秘めていることがわかった。
論文 参考訳(メタデータ) (2024-02-06T17:31:36Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-20T03:17:21Z) - OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with
Adversarially Generated Examples [44.118047780553006]
OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。
実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。
この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
論文 参考訳(メタデータ) (2023-07-21T17:40:47Z) - Efficient Detection of LLM-generated Texts with a Bayesian Surrogate
Model [9.878882790700786]
ベイジアンサロゲートモデルを導入し、ベイジアン不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルへのスコアを補間する。
実験結果から,提案手法はクエリコストの低い既存手法よりも有意に優れていることが示された。
論文 参考訳(メタデータ) (2023-05-26T04:23:10Z) - G3Detector: General GPT-Generated Text Detector [26.47122201110071]
本研究では,多分野にわたる合成テキストの同定に長けた,予測できないが強力な検出手法を提案する。
我々の検出器は、様々なモデルアーキテクチャと復号化戦略で一様に優れた性能を示す。
また、強力な検出回避技術を用いて生成されたテキストを識別する機能も備えている。
論文 参考訳(メタデータ) (2023-05-22T03:35:00Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
本研究は, 慣用性検出の効率的な手法を探索する。
特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。
実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
論文 参考訳(メタデータ) (2022-05-23T13:46:35Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。