論文の概要: Enhancing Robustness of LLM-Synthetic Text Detectors for Academic Writing: A Comprehensive Analysis

• arxiv url: http://arxiv.org/abs/2401.08046v1
• Date: Tue, 16 Jan 2024 01:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:24:33.385016
• Title: Enhancing Robustness of LLM-Synthetic Text Detectors for Academic Writing: A Comprehensive Analysis
• Title（参考訳）: 学術書記用LLM合成テキスト検出器のロバスト性向上:包括的解析
• Authors: Zhicheng Dou, Yuchen Guo, Ching-Chun Chang, Huy H. Nguyen, Isao Echizen
• Abstract要約: 大規模言語モデル(LLM)は、仕事と研究の方法に革命をもたらす多くの利点を提供する。 彼らはまた、潜在的なネガティブな結果のために、かなりの注意を払っている。 1つの例は、人的貢献の少ない学術報告書や論文を作成することである。
• 参考スコア（独自算出の注目度）: 35.351782110161025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of large language models (LLMs), such as Generative Pre-trained Transformer 4 (GPT-4) used by ChatGPT, has profoundly impacted the academic and broader community. While these models offer numerous advantages in terms of revolutionizing work and study methods, they have also garnered significant attention due to their potential negative consequences. One example is generating academic reports or papers with little to no human contribution. Consequently, researchers have focused on developing detectors to address the misuse of LLMs. However, most existing methods prioritize achieving higher accuracy on restricted datasets, neglecting the crucial aspect of generalizability. This limitation hinders their practical application in real-life scenarios where reliability is paramount. In this paper, we present a comprehensive analysis of the impact of prompts on the text generated by LLMs and highlight the potential lack of robustness in one of the current state-of-the-art GPT detectors. To mitigate these issues concerning the misuse of LLMs in academic writing, we propose a reference-based Siamese detector named Synthetic-Siamese which takes a pair of texts, one as the inquiry and the other as the reference. Our method effectively addresses the lack of robustness of previous detectors (OpenAI detector and DetectGPT) and significantly improves the baseline performances in realistic academic writing scenarios by approximately 67% to 95%.
• Abstract（参考訳）: ChatGPTが使用するGPT-4(Generative Pre-trained Transformer 4)のような大規模言語モデル(LLM)の出現は、学術的、より広範なコミュニティに大きな影響を与えている。 これらのモデルは、仕事や研究方法に革命をもたらす多くの利点があるが、その潜在的な否定的な結果から、大きな注目を集めている。 1つの例は、人的貢献の少ない学術報告書や論文を作成することである。 その結果、研究者はLSMの誤用に対処する検出器の開発に注力した。 しかし、既存のほとんどの手法は制限されたデータセットの精度の向上を優先し、一般化可能性の重要な側面を無視している。 この制限は、信頼性が最重要である現実のシナリオで実用的応用を妨げる。 本稿では,LLMが生成するテキストに対するプロンプトの影響を包括的に分析し,現在最先端のGPT検出器の1つであるロバスト性の潜在的な欠如を明らかにする。 そこで本稿では,文献中のllmの誤用に関する問題点を解消するため,synthetic-siameseというリファレンスベースのシアーム検出器を提案する。 本手法は,従来の検出器 (openai detector と detectgpt) のロバスト性の欠如を効果的に解決し, リアルなアカデミックライティングシナリオにおけるベースライン性能を約67%から95%向上させる。

関連論文リスト

• DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
  我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。 我々は,現在のSOTA検出器の強度と限界を明らかにした。 DetectRLは、実世界のシナリオにおける検出器の評価に有効なベンチマークになり得ると考えている。
  論文  参考訳（メタデータ） (2024-10-31T09:01:25Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• ConvNLP: Image-based AI Text Detection [1.4419517737536705]
  本稿では,単語埋め込みの視覚的表現を用いたAI生成テキストの検出手法を提案する。 我々は、ZigZag ResNetと呼ばれる新しい畳み込みニューラルネットワークと、ZigZag Schedulerと呼ばれる一般化を改善するスケジューラを定式化した。 我々の最良のモデルは、AI生成テキストを印象的な平均検出率(ドメイン間およびドメイン内テストデータ以上)88.35%で検出する。
  論文  参考訳（メタデータ） (2024-07-09T20:44:40Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
  2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。 大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。 これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
  論文  参考訳（メタデータ） (2024-03-13T21:39:39Z)
• OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples [44.118047780553006]
  OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。 実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。 この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
  論文  参考訳（メタデータ） (2023-07-21T17:40:47Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Large Language Models can be Guided to Evade AI-Generated Text Detection [40.7707919628752]
  大規模言語モデル(LLM)は様々なタスクにおいて顕著な性能を示し、一般に広く利用されている。 我々は、これらの検出器の脆弱性を評価するために、外部パラフレーズに頼るのではなく、LSMにプロンプトを付与する。 本研究では,検出器を回避するためのプロンプトを自動構築する,代用型In-Contextサンプル最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:03:25Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。