論文の概要: M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection
- arxiv url: http://arxiv.org/abs/2305.14902v1
- Date: Wed, 24 May 2023 08:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 18:04:57.024797
- Title: M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection
- Title(参考訳): m4:マルチジェネレータ、マルチドメイン、多言語ブラックボックスマシン生成テキスト検出
- Authors: Yuxia Wang, Jonibek Mansurov, Petar Ivanov, Jinyan Su, Artem
Shelmanov, Akim Tsvigun, Chenxi Whitehouse, Osama Mohammed Afzal, Tarek
Mahmoud, Alham Fikri Aji, Preslav Nakov
- Abstract要約: 大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、学術的文脈におけるそのようなテキストの潜在的な誤用に関する懸念も生んでいる。
まず、機械生成テキスト検出のためのマルチジェネレータ、マルチドメイン、多言語コーパスである大規模ベンチマークM4を紹介する。
- 参考スコア(独自算出の注目度): 15.267254242339982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capability to
generate fluent responses to a wide variety of user queries, but this has also
resulted in concerns regarding the potential misuse of such texts in
journalism, educational, and academic context. In this work, we aim to develop
automatic systems to identify machine-generated text and to detect potential
misuse. We first introduce a large-scale benchmark M4, which is
multi-generator, multi-domain, and multi-lingual corpus for machine-generated
text detection. Using the dataset, we experiment with a number of methods and
we show that it is challenging for detectors to generalize well on unseen
examples if they are either from different domains or are generated by
different large language models. In such cases, detectors tend to misclassify
machine-generated text as human-written. These results show that the problem is
far from solved and there is a lot of room for improvement. We believe that our
dataset M4, which covers different generators, domains and languages, will
enable future research towards more robust approaches for this pressing
societal problem. The M4 dataset is available at
https://github.com/mbzuai-nlp/M4.
- Abstract(参考訳): 大規模言語モデル (LLM) は, 多様なユーザクエリに対して流動的な応答を生成できることが顕著に示されているが, ジャーナリズム, 教育, 学術的文脈におけるそのようなテキストの誤用が懸念されている。
本研究では,機械生成テキストを識別し,誤用を検知する自動システムを開発することを目的としている。
まず,マシン生成テキスト検出のためのマルチジェネレータ,マルチドメイン,多言語コーパスである大規模ベンチマークm4を紹介する。
データセットを用いて,様々な手法を実験し,異なる領域や異なる大規模言語モデルによって生成された場合,検出者が未知の例をうまく一般化することは困難であることを示す。
このような場合、検出器は機械が生成したテキストを人間書きと誤分類する傾向がある。
これらの結果から,解決には程遠い問題であり,改善の余地がたくさんあることが示唆された。
我々は、異なるジェネレータ、ドメイン、言語をカバーするデータセットM4が、この押し付け社会問題に対するより堅牢なアプローチに向けた将来の研究を可能にすると信じている。
m4データセットはhttps://github.com/mbzuai-nlp/m4で利用可能である。
関連論文リスト
- HU at SemEval-2024 Task 8A: Can Contrastive Learning Learn Embeddings to Detect Machine-Generated Text? [0.0]
本稿では,SemEval-2024 Task 8, Multigenerator, Multi Domain, and Multilingual Black-Box Machine-Generated Text Detection'のために開発したシステムについて述べる。
重要な発見は、複数のモデルのアンサンブルがなくても、単一のベースモデルは、データ拡張と対照的な学習の助けを借りて、同等のパフォーマンスを持つことができるということです。
論文 参考訳(メタデータ) (2024-02-19T04:11:34Z) - RFBES at SemEval-2024 Task 8: Investigating Syntactic and Semantic
Features for Distinguishing AI-Generated and Human-Written Texts [0.8437187555622164]
本稿では、意味論と構文という2つの異なる側面からAIが生成するテキスト検出の問題について考察する。
マルチリンガルタスクとモノリンガルタスクの両方において,AI生成テキストと人書きテキストを高い精度で区別できるAIモデルを提案する。
論文 参考訳(メタデータ) (2024-02-19T00:40:17Z) - M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text
Detection [70.96684450854274]
大規模言語モデル(LLM)は、機械生成テキスト(MGT)に前例のない急上昇をもたらした。
このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。
これらの内容と本物の人間生成テキストを識別し区別する必要性は、偽情報との戦いにおいて重要である。
論文 参考訳(メタデータ) (2024-02-17T02:50:33Z) - LLM-as-a-Coauthor: Can Mixed Human-Written and Machine-Generated Text Be Detected? [13.813769457594216]
現在の研究は主に、混合シナリオに適切に対処することなく、純粋なMGT検出に焦点を当てている。
AIと人為的コンテンツの両方を含む混合テキストの形式であるmixtextを定義します。
既存の検出器はミックステキストの識別に苦慮し,特に微妙な修正やスタイル適応性に対処している。
論文 参考訳(メタデータ) (2024-01-11T14:44:08Z) - Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳(メタデータ) (2023-12-20T10:53:53Z) - MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection
Benchmark [10.92793962395538]
MultiTuDEは、多言語マシン生成テキスト検出のための新しいベンチマークデータセットである。
11の言語で74,081の認証テキストと機械生成テキストで構成されている。
ゼロショット(統計とブラックボックス)と微調整検出器の性能を比較した。
論文 参考訳(メタデータ) (2023-10-20T15:57:17Z) - Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
論文 参考訳(メタデータ) (2023-05-29T15:25:00Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。