論文の概要: PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection
- arxiv url: http://arxiv.org/abs/2406.16288v1
- Date: Mon, 24 Jun 2024 03:29:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 16:13:09.878989
- Title: PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection
- Title（参考訳）: PlagBench: プラジャリズムの生成と検出における大規模言語モデルの重複を探る
- Authors: Jooyoung Lee, Toshini Agrawal, Adaku Uchendu, Thai Le, Jinghui Chen, Dongwon Lee,
- Abstract要約: 46.5Kの合成プラギアリズムケースからなる包括的データセットであるPlagBenchを紹介する。
次に,提案したデータを用いて,5つの近代LDMと3つの特殊プラジャリズムチェッカーの盗作検出性能を評価する。
以上の結果より, GPT-3.5はLlama2やGPT-4に比べ, 高い品質のパラフレーズや要約を生じる傾向が示唆された。
- 参考スコア（独自算出の注目度）: 26.191836276118696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent literature has highlighted potential risks to academic integrity associated with large language models (LLMs), as they can memorize parts of training instances and reproduce them in the generated texts without proper attribution. In addition, given their capabilities in generating high-quality texts, plagiarists can exploit LLMs to generate realistic paraphrases or summaries indistinguishable from original work. In response to possible malicious use of LLMs in plagiarism, we introduce PlagBench, a comprehensive dataset consisting of 46.5K synthetic plagiarism cases generated using three instruction-tuned LLMs across three writing domains. The quality of PlagBench is ensured through fine-grained automatic evaluation for each type of plagiarism, complemented by human annotation. We then leverage our proposed dataset to evaluate the plagiarism detection performance of five modern LLMs and three specialized plagiarism checkers. Our findings reveal that GPT-3.5 tends to generates paraphrases and summaries of higher quality compared to Llama2 and GPT-4. Despite LLMs' weak performance in summary plagiarism identification, they can surpass current commercial plagiarism detectors. Overall, our results highlight the potential of LLMs to serve as robust plagiarism detection tools.
- Abstract（参考訳）: 近年の文献では、大規模言語モデル(LLM)に関連する学術的整合性への潜在的なリスクが強調されている。
さらに、高品質なテキストを生成する能力を考えると、プラジャリストはLLMを利用して現実的なパラフレーズや要約を生成できる。
プラギアリズムにおけるLSMの悪意的使用に対する対応として,PlagBenchを紹介した。これは3つの書き込み領域にわたる3つの命令チューニング LLM を用いて生成された46.5K の合成プラギアリズムケースからなる包括的データセットである。
PlagBenchの品質は、人間のアノテーションによって補完される、各種類のプラジャリズムに対するきめ細かい自動評価によって保証される。
次に,提案したデータを用いて,5つの近代LDMと3つの特殊プラジャリズムチェッカーのプラジャリズム検出性能を評価する。
以上の結果より, GPT-3.5はLlama2やGPT-4に比べ, 高い品質のパラフレーズや要約を生じる傾向が示唆された。
LLMのサマリプラジャリズム識別性能は弱いが、現在の商用プラジャリズム検出器を超越することができる。
以上の結果から,LSMが堅牢な盗作検出ツールとして機能する可能性が示唆された。
関連論文リスト
- A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。
大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。
IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文 参考訳（メタデータ） (2024-10-29T04:14:23Z) - Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。
我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。
透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
論文 参考訳（メタデータ） (2024-07-24T16:53:09Z) - CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。
リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
論文 参考訳（メタデータ） (2024-07-09T17:58:18Z) - FOCUS: Forging Originality through Contrastive Use in Self-Plagiarism for Language Models [38.76912842622624]
プレトレーニング言語モデル(PLM)は、様々な自然言語生成(NLG)タスクにおいて印象的な結果を示している。
本研究では, PLMが生成するテキストの独創性を高めることを目的とした, 独特な「自己プラギアリズム」コントラスト的復号戦略を提案する。
論文 参考訳（メタデータ） (2024-06-02T19:17:00Z) - BERT-Enhanced Retrieval Tool for Homework Plagiarism Detection System [0.0]
GPT-3.5をベースとして,32,927対のテキストプラギアリズム検出データセットを生成する,プラギアライズされたテキストデータ生成手法を提案する。
また,BERT を用いた Faiss に基づく盗作識別手法を提案する。
このモデルの性能は, 98.86%, 98.90%, 98.86%, 0.9888, 精度, 精度, リコール, F1スコアなど, 様々な指標において他のモデルよりも優れていた。
論文 参考訳（メタデータ） (2024-04-01T12:20:34Z) - Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models [63.91178922306669]
大規模言語モデル(LLM)に対するテキスト保護機構であるSilent Guardianを紹介する。
保護されるテキストを慎重に修正することで、TPEはLDMを誘導して最初にエンドトークンをサンプリングし、直接相互作用を終了させることができる。
本研究では,SGがターゲットテキストを種々の構成で効果的に保護し,保護成功率の約100%を達成できることを示す。
論文 参考訳（メタデータ） (2023-12-15T10:30:36Z) - Source Attribution for Large Language Model-Generated Data [57.85840382230037]
合成テキストの生成に寄与したデータプロバイダを特定することで、ソース属性を実行できることが不可欠である。
我々はこの問題を透かしによって取り組めることを示した。
本稿では,アルゴリズム設計により,これらの重要な特性を満足する情報源属性フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-01T12:02:57Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳（メタデータ） (2023-05-31T10:08:37Z) - How Large Language Models are Transforming Machine-Paraphrased
Plagiarism [3.8768839735240737]
本研究は, arXiv, 学生論文, ウィキペディアの科学論文において, 機械パラフレーズ生成のための T5 と GPT-3 について検討する。
6つの自動解法と1つの商用プラジャリズム検出ソフトウェアの検出性能を評価した。
人間の専門家は、GPT-3が生成したパラフレーズの質を原文よりも高く評価する。
論文 参考訳（メタデータ） (2022-10-07T14:08:57Z) - Do Language Models Plagiarize? [22.02731537718498]
人工テキストを生成する際に,言語モデルが記憶するか否かを検討するとともに,学習サンプルをプラジャライズする。
以上の結果から,特にGPT-2では,難読化の有無にかかわらず,トレーニングコーパスから特定のテキストを再利用することが示唆された。
私たちの研究は、将来のニューラルネットワークモデルの研究が、トレーニングデータセットを盗用するモデルを避けるために、予防措置を講じるべきであることを示唆している。
論文 参考訳（メタデータ） (2022-03-15T03:11:11Z) - Hamtajoo: A Persian Plagiarism Checker for Academic Manuscripts [0.0]
ハムタホオ(Hamtajoo)は、ペルシアの学術写本の盗作検知システムである。
システム全体の構造と,各ステージで使用されるアルゴリズムについて述べる。
提案システムの性能を評価するために,PAN規格に準拠した盗作検出コーパスを用いた。
論文 参考訳（メタデータ） (2021-12-27T15:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。