論文の概要: How Large Language Models are Transforming Machine-Paraphrased
Plagiarism
- arxiv url: http://arxiv.org/abs/2210.03568v1
- Date: Fri, 7 Oct 2022 14:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:48:46.798038
- Title: How Large Language Models are Transforming Machine-Paraphrased
Plagiarism
- Title（参考訳）: 機械パラフレージングプラジャリズムがいかに大きな言語モデルに変換されるか
- Authors: Jan Philip Wahle and Terry Ruas and Frederic Kirstein and Bela Gipp
- Abstract要約: 本研究は, arXiv, 学生論文, ウィキペディアの科学論文において, 機械パラフレーズ生成のための T5 と GPT-3 について検討する。
6つの自動解法と1つの商用プラジャリズム検出ソフトウェアの検出性能を評価した。
人間の専門家は、GPT-3が生成したパラフレーズの質を原文よりも高く評価する。
- 参考スコア（独自算出の注目度）: 3.8768839735240737
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The recent success of large language models for text generation poses a
severe threat to academic integrity, as plagiarists can generate realistic
paraphrases indistinguishable from original work. However, the role of large
autoregressive transformers in generating machine-paraphrased plagiarism and
their detection is still developing in the literature. This work explores T5
and GPT-3 for machine-paraphrase generation on scientific articles from arXiv,
student theses, and Wikipedia. We evaluate the detection performance of six
automated solutions and one commercial plagiarism detection software and
perform a human study with 105 participants regarding their detection
performance and the quality of generated examples. Our results suggest that
large models can rewrite text humans have difficulty identifying as
machine-paraphrased (53% mean acc.). Human experts rate the quality of
paraphrases generated by GPT-3 as high as original texts (clarity 4.0/5,
fluency 4.2/5, coherence 3.8/5). The best-performing detection model (GPT-3)
achieves a 66% F1-score in detecting paraphrases.
- Abstract（参考訳）: 近年のテキスト生成における大規模言語モデルの成功は、プラジャリストがオリジナルの作品と区別できない現実的なパラフレーズを生成できるため、学術的完全性に深刻な脅威をもたらす。
しかし,大規模自己回帰トランスフォーマの機械パラフラシズム生成と検出における役割は,まだ文献に残されている。
本研究は, arXiv, 学生論文, ウィキペディアの科学論文において, 機械パラフレーズ生成のための T5 と GPT-3 について検討する。
我々は,6つの自動解法と1つの商用プラジャリズム検出ソフトウェアの検出性能を評価し,その検出性能と生成例の品質について105人の被験者による人間による研究を行った。
以上の結果から,大規模モデルでは機械パラフレーズ(平均53%)の認識が困難であることが示唆された。
人間の専門家は、GPT-3によって生成されたパラフレーズの質を原文の4.0/5、流布4.2/5、コヒーレンス3.8/5と評価している。
最も優れた検出モデル(GPT-3)は、パラフレーズの検出において66%のF1スコアを達成する。
関連論文リスト
- Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection [26.191836276118696]
46.5Kの合成プラギアリズムケースからなる包括的データセットであるPlagBenchを紹介する。
次に,提案したデータを用いて,5つの近代LDMと3つの特殊プラジャリズムチェッカーの盗作検出性能を評価する。
以上の結果より, GPT-3.5はLlama2やGPT-4に比べ, 高い品質のパラフレーズや要約を生じる傾向が示唆された。
論文 参考訳（メタデータ） (2024-06-24T03:29:53Z) - BERT-Enhanced Retrieval Tool for Homework Plagiarism Detection System [0.0]
GPT-3.5をベースとして,32,927対のテキストプラギアリズム検出データセットを生成する,プラギアライズされたテキストデータ生成手法を提案する。
また,BERT を用いた Faiss に基づく盗作識別手法を提案する。
このモデルの性能は, 98.86%, 98.90%, 98.86%, 0.9888, 精度, 精度, リコール, F1スコアなど, 様々な指標において他のモデルよりも優れていた。
論文 参考訳（メタデータ） (2024-04-01T12:20:34Z) - Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation [52.72682366640554]
著者検証(英語: Authorship Verification, AV)とは、ある特定の著者によって書かれたか、別の人物によって書かれたのかを推測するテキスト分類タスクである。
多くのAVシステムは敵の攻撃に弱いことが示されており、悪意のある著者は、その書体スタイルを隠蔽するか、あるいは他の著者の書体を模倣することによって、積極的に分類者を騙そうとしている。
論文 参考訳（メタデータ） (2024-03-17T16:36:26Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳（メタデータ） (2023-05-17T00:09:08Z) - RL4F: Generating Natural Language Feedback with Reinforcement Learning
for Repairing Model Outputs [27.777809444120827]
以前の作業では、アウトプットを修復する際のガイドとして、自然言語フィードバックを備えた言語モデルの提供が提案されていた。
我々は,GPT-3のエンドタスク性能を最大化するために,批判生成を訓練するマルチエージェント協調フレームワークRL4Fを紹介する。
複数のテキスト類似度指標の相対的な改善は、他の学習、検索強化、あるいはプロンプトに基づく批判ジェネレータと比べて最大10%向上する。
論文 参考訳（メタデータ） (2023-05-15T17:57:16Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。
より小さな言語モデルを微調整して有用な中間コンテキストを生成します。
私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
論文 参考訳（メタデータ） (2022-09-02T18:32:09Z) - How much do language models copy from their training data? Evaluating
linguistic novelty in text generation using RAVEN [63.79300884115027]
現在の言語モデルは高品質なテキストを生成することができる。
彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか?
本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
論文 参考訳（メタデータ） (2021-11-18T04:07:09Z) - Identifying Machine-Paraphrased Plagiarism [5.353051766771479]
機械学習と最先端ニューラルネットワークモデルを組み合わせた5つの事前学習単語埋め込みモデルの有効性を評価した。
我々は研究論文、卒業論文、ウィキペディアの記事を要約した。
将来の研究を促進するために、すべてのデータ、コード、そして2つのWebアプリケーションに私たちのコントリビューションが公開されています。
論文 参考訳（メタデータ） (2021-03-22T14:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。