論文の概要: PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection

• arxiv url: http://arxiv.org/abs/2406.16288v1
• Date: Mon, 24 Jun 2024 03:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 16:13:09.878989
• Title: PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection
• Title（参考訳）: PlagBench: プラジャリズムの生成と検出における大規模言語モデルの重複を探る
• Authors: Jooyoung Lee, Toshini Agrawal, Adaku Uchendu, Thai Le, Jinghui Chen, Dongwon Lee,
• Abstract要約: 46.5Kの合成プラギアリズムケースからなる包括的データセットであるPlagBenchを紹介する。 次に,提案したデータを用いて,5つの近代LDMと3つの特殊プラジャリズムチェッカーの盗作検出性能を評価する。 以上の結果より, GPT-3.5はLlama2やGPT-4に比べ, 高い品質のパラフレーズや要約を生じる傾向が示唆された。
• 参考スコア（独自算出の注目度）: 26.191836276118696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent literature has highlighted potential risks to academic integrity associated with large language models (LLMs), as they can memorize parts of training instances and reproduce them in the generated texts without proper attribution. In addition, given their capabilities in generating high-quality texts, plagiarists can exploit LLMs to generate realistic paraphrases or summaries indistinguishable from original work. In response to possible malicious use of LLMs in plagiarism, we introduce PlagBench, a comprehensive dataset consisting of 46.5K synthetic plagiarism cases generated using three instruction-tuned LLMs across three writing domains. The quality of PlagBench is ensured through fine-grained automatic evaluation for each type of plagiarism, complemented by human annotation. We then leverage our proposed dataset to evaluate the plagiarism detection performance of five modern LLMs and three specialized plagiarism checkers. Our findings reveal that GPT-3.5 tends to generates paraphrases and summaries of higher quality compared to Llama2 and GPT-4. Despite LLMs' weak performance in summary plagiarism identification, they can surpass current commercial plagiarism detectors. Overall, our results highlight the potential of LLMs to serve as robust plagiarism detection tools.
• Abstract（参考訳）: 近年の文献では、大規模言語モデル(LLM)に関連する学術的整合性への潜在的なリスクが強調されている。 さらに、高品質なテキストを生成する能力を考えると、プラジャリストはLLMを利用して現実的なパラフレーズや要約を生成できる。 プラギアリズムにおけるLSMの悪意的使用に対する対応として,PlagBenchを紹介した。これは3つの書き込み領域にわたる3つの命令チューニング LLM を用いて生成された46.5K の合成プラギアリズムケースからなる包括的データセットである。 PlagBenchの品質は、人間のアノテーションによって補完される、各種類のプラジャリズムに対するきめ細かい自動評価によって保証される。 次に,提案したデータを用いて,5つの近代LDMと3つの特殊プラジャリズムチェッカーのプラジャリズム検出性能を評価する。 以上の結果より, GPT-3.5はLlama2やGPT-4に比べ, 高い品質のパラフレーズや要約を生じる傾向が示唆された。 LLMのサマリプラジャリズム識別性能は弱いが、現在の商用プラジャリズム検出器を超越することができる。 以上の結果から,LSMが堅牢な盗作検出ツールとして機能する可能性が示唆された。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• FOCUS: Forging Originality through Contrastive Use in Self-Plagiarism for Language Models [38.76912842622624]
  プレトレーニング言語モデル(PLM)は、様々な自然言語生成(NLG)タスクにおいて印象的な結果を示している。 本研究では, PLMが生成するテキストの独創性を高めることを目的とした, 独特な「自己プラギアリズム」コントラスト的復号戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:17:00Z)
• BERT-Enhanced Retrieval Tool for Homework Plagiarism Detection System [0.0]
  GPT-3.5をベースとして,32,927対のテキストプラギアリズム検出データセットを生成する,プラギアライズされたテキストデータ生成手法を提案する。 また,BERT を用いた Faiss に基づく盗作識別手法を提案する。 このモデルの性能は, 98.86%, 98.90%, 98.86%, 0.9888, 精度, 精度, リコール, F1スコアなど, 様々な指標において他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-04-01T12:20:34Z)
• Differentially Private Synthetic Data via Foundation Model APIs 2: Text [56.13240830670327]
  現実世界で生成された高品質なテキストデータはプライベートであり、プライバシー上の懸念から自由に共有したり、利用したりすることはできない。 テキストの複雑な設定に適用可能な拡張PEアルゴリズムであるAug-PEを提案する。 その結果, Aug-PE は SOTA DP の微調整ベースラインと競合する DP 合成テキストを生成することがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:57:50Z)
• Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models [63.91178922306669]
  大規模言語モデル(LLM)に対するテキスト保護機構であるSilent Guardianを紹介する。 保護されるテキストを慎重に修正することで、TPEはLDMを誘導して最初にエンドトークンをサンプリングし、直接相互作用を終了させることができる。 本研究では,SGがターゲットテキストを種々の構成で効果的に保護し,保護成功率の約100%を達成できることを示す。
  論文  参考訳（メタデータ） (2023-12-15T10:30:36Z)
• Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation [7.782551258221384]
  大規模言語モデル(LLM)の最近のユビキティと破壊的な影響は、それらが誤用される可能性を懸念している。 本稿では,近代LLMの創発的・創発的推論能力を活用する新しい「火災を伴う火災(Fighting Fire with Fire)」戦略を提案する。 GPT-3.5-turboの精度は68-72%であった。
  論文  参考訳（メタデータ） (2023-10-24T04:50:29Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Semantic Compression With Large Language Models [1.0874100424278175]
  大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。 LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。 本稿では,LLMの研究への3つの貢献について述べる。
  論文  参考訳（メタデータ） (2023-04-25T01:47:05Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。