論文の概要: HowkGPT: Investigating the Detection of ChatGPT-generated University
Student Homework through Context-Aware Perplexity Analysis
- arxiv url: http://arxiv.org/abs/2305.18226v1
- Date: Fri, 26 May 2023 11:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 14:02:15.895162
- Title: HowkGPT: Investigating the Detection of ChatGPT-generated University
Student Homework through Context-Aware Perplexity Analysis
- Title(参考訳): HowkGPT:文脈認識パープレキシティ分析によるチャットGPT生成大学生の宿題の検出の検討
- Authors: Christoforos Vasilatos, Manaar Alam, Talal Rahwan, Yasir Zaki and
Michail Maniatakos
- Abstract要約: HowkGPTは学術的な課題と付随するメタデータのデータセットの上に構築されている。
生徒とChatGPTが生成する応答の難易度スコアを計算する。
さらに、カテゴリ固有のしきい値を定義することで分析を洗練させる。
- 参考スコア(独自算出の注目度): 13.098764928946208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the use of Large Language Models (LLMs) in text generation tasks
proliferates, concerns arise over their potential to compromise academic
integrity. The education sector currently tussles with distinguishing
student-authored homework assignments from AI-generated ones. This paper
addresses the challenge by introducing HowkGPT, designed to identify homework
assignments generated by AI. HowkGPT is built upon a dataset of academic
assignments and accompanying metadata [17] and employs a pretrained LLM to
compute perplexity scores for student-authored and ChatGPT-generated responses.
These scores then assist in establishing a threshold for discerning the origin
of a submitted assignment. Given the specificity and contextual nature of
academic work, HowkGPT further refines its analysis by defining
category-specific thresholds derived from the metadata, enhancing the precision
of the detection. This study emphasizes the critical need for effective
strategies to uphold academic integrity amidst the growing influence of LLMs
and provides an approach to ensuring fair and accurate grading in educational
institutions.
- Abstract(参考訳): テキスト生成タスクにおけるLarge Language Models (LLM)の使用が増加するにつれて、学術的完全性を損なう可能性があるという懸念が生じる。
教育部門は現在、学生が認可した宿題とAIが生成した宿題を区別することで苦戦している。
本稿では,AIが生成する宿題の特定を目的としたハウクGPTの導入による課題に対処する。
HowkGPTは学術的課題のデータセットとメタデータ [17] に基づいて構築されており、学生認可およびChatGPT生成応答のパープレキシティスコアを計算するために事前訓練されたLLMを使用している。
これらのスコアは、提出された割り当ての起源を識別するためのしきい値を確立するのに役立つ。
学術研究の特異性と文脈の性質を踏まえ、HowkGPTはメタデータから派生したカテゴリ固有のしきい値を定義し、検出の精度を高めることで分析をさらに洗練する。
本研究は,LLMの影響が拡大する中で,学術的整合性を維持するための効果的な戦略の批判的必要性を強調し,教育機関の公正かつ正確な格付けを確保するためのアプローチを提供する。
関連論文リスト
- Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated
Student Essay Detection [29.433764586753956]
大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。
これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。
本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
論文 参考訳(メタデータ) (2024-02-01T08:11:56Z) - Enhancing Robustness of LLM-Synthetic Text Detectors for Academic
Writing: A Comprehensive Analysis [35.351782110161025]
大規模言語モデル(LLM)は、仕事と研究の方法に革命をもたらす多くの利点を提供する。
彼らはまた、潜在的なネガティブな結果のために、かなりの注意を払っている。
1つの例は、人的貢献の少ない学術報告書や論文を作成することである。
論文 参考訳(メタデータ) (2024-01-16T01:58:36Z) - Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳(メタデータ) (2023-12-21T11:45:28Z) - Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies [1.633179643849375]
ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
論文 参考訳(メタデータ) (2023-11-27T20:10:13Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Ethical Aspects of ChatGPT in Software Engineering Research [4.0594888788503205]
ChatGPTは、自然言語の相互作用に基づいた効率的でアクセスしやすい情報分析と合成を提供することで、ソフトウェア工学(SE)の研究プラクティスを改善することができる。
しかしChatGPTは、盗用、プライバシー、データセキュリティ、バイアスや有害なデータを生成するリスクを含む倫理的課題をもたらす可能性がある。
本研究の目的は、モチベーター、デモティベーター、SEリサーチでChatGPTを使用する倫理的原則といった重要な要素を解明することで、与えられたギャップを埋めることである。
論文 参考訳(メタデータ) (2023-06-13T06:13:21Z) - Creating Large Language Model Resistant Exams: Guidelines and Strategies [0.0]
大規模言語モデル(LLM)は、学術的完全性への潜在的な影響について懸念を提起している。
本稿では,LLMの試験成績と評価への影響について考察する。
本稿では,コンテンツモデレーション,意図的不正確性,モデルの知識ベースを越えた現実シナリオ,効果的な気晴らしオプション,ソフトスキルの評価,非テキスト情報の導入など,LCM耐性試験を作成するためのガイドラインを提案する。
論文 参考訳(メタデータ) (2023-04-18T18:01:32Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳(メタデータ) (2023-03-08T03:56:31Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳(メタデータ) (2020-10-14T17:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。