論文の概要: Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases

• arxiv url: http://arxiv.org/abs/2307.07411v1
• Date: Mon, 10 Jul 2023 12:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 12:38:50.077183
• Title: Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases
• Title（参考訳）: コンピュータ教育におけるLLMテキストの検出:ChatGPT症例の比較検討
• Authors: Michael Sheinman Orenstrakh, Oscar Karnalim, Carlos Anibal Suarez, Michael Liut
• Abstract要約: 大規模言語モデル(LLM)は、教育における学術的完全性に深刻な脅威をもたらしている。 現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善を必要としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the recent improvements and wide availability of Large Language Models (LLMs), they have posed a serious threat to academic integrity in education. Modern LLM-generated text detectors attempt to combat the problem by offering educators with services to assess whether some text is LLM-generated. In this work, we have collected 124 submissions from computer science students before the creation of ChatGPT. We then generated 40 ChatGPT submissions. We used this data to evaluate eight publicly-available LLM-generated text detectors through the measures of accuracy, false positives, and resilience. The purpose of this work is to inform the community of what LLM-generated text detectors work and which do not, but also to provide insights for educators to better maintain academic integrity in their courses. Our results find that CopyLeaks is the most accurate LLM-generated text detector, GPTKit is the best LLM-generated text detector to reduce false positives, and GLTR is the most resilient LLM-generated text detector. We also express concerns over 52 false positives (of 114 human written submissions) generated by GPTZero. Finally, we note that all LLM-generated text detectors are less accurate with code, other languages (aside from English), and after the use of paraphrasing tools (like QuillBot). Modern detectors are still in need of improvements so that they can offer a full-proof solution to help maintain academic integrity. Further, their usability can be improved by facilitating a smooth API integration, providing clear documentation of their features and the understandability of their model(s), and supporting more commonly used languages.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の改良と広範囲な利用により、教育における学術的完全性への深刻な脅威となっている。 現代の LLM 生成テキスト検出器は、あるテキストが LLM 生成であるかどうかを評価するサービスを備えた教育者を提供することで、この問題に対処しようとする。 本研究では,ChatGPT作成前に,コンピュータサイエンスの学生から124件の応募を収集した。 そして40のChatGPTを作成した。 このデータを用いて, 精度, 偽陽性, レジリエンスの尺度を用いて, 8種類のllm生成テキスト検出器を評価した。 本研究の目的は、LCMが生成したテキスト検出装置の動作と機能しない機能についてコミュニティに通知することであり、また、教育者がコースにおける学術的整合性をよりよく維持するための洞察を提供することである。 以上の結果から, CopyLeaks は LLM 生成テキスト検出器であり, GPTKit は偽陽性の低減に最適な LLM 生成テキスト検出器であり, GLTR は LLM 生成テキスト検出器であることがわかった。 また, GPTZero が生成した52件の偽陽性 (114件) についても懸念を表明する。 最後に、全てのLLM生成テキスト検出器は、コード、他の言語(英語以外)、およびパラフレーズツール(QuillBotなど)の使用後の精度が低いことに留意する。 現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善が必要である。 さらに、スムーズなapi統合を促進し、機能の明確なドキュメントとモデルの理解力を提供し、より一般的な言語をサポートすることで、ユーザビリティを向上させることができる。

関連論文リスト

• Learning to Rewrite: Generalized LLM-Generated Text Detection [19.9477991969521]
  大規模言語モデル(LLM)は、非現実的なコンテンツを作成し、偽情報を拡散するために、大規模に悪用される。 入力テキストの書き直し,LLM生成コンテンツに対する最小限の編集,人文テキストに対するさらなる編集を行うためのLLMのトレーニングを提案する。 我々の研究は、LLMが適切に訓練された場合、機械生成テキストを効果的に検出できることを示唆している。
  論文  参考訳（メタデータ） (2024-08-08T05:53:39Z)
• CUDRT: Benchmarking the Detection Models of Human vs. Large Language Models Generated Texts [9.682499180341273]
  大規模言語モデル(LLM)は、産業全体にわたってテキスト生成を大幅に強化した。 彼らの人間的なアウトプットは、人間とAIの作者の区別を困難にしている。 現在のベンチマークは主に静的データセットに依存しており、モデルベースの検出器の評価の有効性を制限している。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text [98.28130949052313]
  密接に関連する2つの言語モデルとの対比に基づくスコアは、人文と機械文の分離に極めて正確である。 本稿では,一対の事前学習 LLM を用いた簡単な計算しか必要としない新しい LLM 検出器を提案する。 Binocularsと呼ばれるこの方法は、トレーニングデータなしで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-01-22T16:09:47Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
  LLM生成テキストを検出できる検出器を開発する必要がある。 このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。 この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
  論文  参考訳（メタデータ） (2023-10-23T09:01:13Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。