論文の概要: HowkGPT: Investigating the Detection of ChatGPT-generated University
Student Homework through Context-Aware Perplexity Analysis
- arxiv url: http://arxiv.org/abs/2305.18226v2
- Date: Wed, 7 Jun 2023 11:43:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 18:17:00.952978
- Title: HowkGPT: Investigating the Detection of ChatGPT-generated University
Student Homework through Context-Aware Perplexity Analysis
- Title（参考訳）: HowkGPT:文脈認識パープレキシティ分析によるチャットGPT生成大学生の宿題の検出の検討
- Authors: Christoforos Vasilatos, Manaar Alam, Talal Rahwan, Yasir Zaki and
Michail Maniatakos
- Abstract要約: HowkGPTは学術的な課題と付随するメタデータのデータセットの上に構築されている。
生徒とChatGPTが生成する応答の難易度スコアを計算する。
さらに、カテゴリ固有のしきい値を定義することで分析を洗練させる。
- 参考スコア（独自算出の注目度）: 13.098764928946208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the use of Large Language Models (LLMs) in text generation tasks
proliferates, concerns arise over their potential to compromise academic
integrity. The education sector currently tussles with distinguishing
student-authored homework assignments from AI-generated ones. This paper
addresses the challenge by introducing HowkGPT, designed to identify homework
assignments generated by AI. HowkGPT is built upon a dataset of academic
assignments and accompanying metadata [17] and employs a pretrained LLM to
compute perplexity scores for student-authored and ChatGPT-generated responses.
These scores then assist in establishing a threshold for discerning the origin
of a submitted assignment. Given the specificity and contextual nature of
academic work, HowkGPT further refines its analysis by defining
category-specific thresholds derived from the metadata, enhancing the precision
of the detection. This study emphasizes the critical need for effective
strategies to uphold academic integrity amidst the growing influence of LLMs
and provides an approach to ensuring fair and accurate grading in educational
institutions.
- Abstract（参考訳）: テキスト生成タスクにおけるLarge Language Models (LLM)の使用が増加するにつれて、学術的完全性を損なう可能性があるという懸念が生じる。
教育部門は現在、学生が認可した宿題とAIが生成した宿題を区別することで苦戦している。
本稿では,AIが生成する宿題の特定を目的としたハウクGPTの導入による課題に対処する。
HowkGPTは学術的課題のデータセットとメタデータ [17] に基づいて構築されており、学生認可およびChatGPT生成応答のパープレキシティスコアを計算するために事前訓練されたLLMを使用している。
これらのスコアは、提出された割り当ての起源を識別するためのしきい値を確立するのに役立つ。
学術研究の特異性と文脈の性質を踏まえ、HowkGPTはメタデータから派生したカテゴリ固有のしきい値を定義し、検出の精度を高めることで分析をさらに洗練する。
本研究は,LLMの影響が拡大する中で,学術的整合性を維持するための効果的な戦略の批判的必要性を強調し,教育機関の公正かつ正確な格付けを確保するためのアプローチを提供する。
関連論文リスト
- Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳（メタデータ） (2024-07-04T16:41:08Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Keystroke Dynamics Against Academic Dishonesty in the Age of LLMs [25.683026758476835]
本研究では,キーストロークダイナミックスを用いたボナフッ化物と補助筆記物の区別手法を提案する。
これを容易にするために、タスクを書くことに従事する個人のキーストロークパターンをキャプチャするデータセットが開発された。
改良されたTypeNetアーキテクチャを用いてトレーニングされた検出器は、条件固有のシナリオでは74.98%から85.72%、条件に依存しないシナリオでは52.24%から80.54%の精度を達成した。
論文 参考訳（メタデータ） (2024-06-21T17:51:26Z) - Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated
Student Essay Detection [29.433764586753956]
大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。
これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。
本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
論文 参考訳（メタデータ） (2024-02-01T08:11:56Z) - Enhancing Robustness of LLM-Synthetic Text Detectors for Academic
Writing: A Comprehensive Analysis [35.351782110161025]
大規模言語モデル(LLM)は、仕事と研究の方法に革命をもたらす多くの利点を提供する。
彼らはまた、潜在的なネガティブな結果のために、かなりの注意を払っている。
1つの例は、人的貢献の少ない学術報告書や論文を作成することである。
論文 参考訳（メタデータ） (2024-01-16T01:58:36Z) - Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳（メタデータ） (2023-12-21T11:45:28Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:45:59Z) - Ethical Aspects of ChatGPT in Software Engineering Research [4.0594888788503205]
ChatGPTは、自然言語の相互作用に基づいた効率的でアクセスしやすい情報分析と合成を提供することで、ソフトウェア工学(SE)の研究プラクティスを改善することができる。
しかしChatGPTは、盗用、プライバシー、データセキュリティ、バイアスや有害なデータを生成するリスクを含む倫理的課題をもたらす可能性がある。
本研究の目的は、モチベーター、デモティベーター、SEリサーチでChatGPTを使用する倫理的原則といった重要な要素を解明することで、与えられたギャップを埋めることである。
論文 参考訳（メタデータ） (2023-06-13T06:13:21Z) - Creating Large Language Model Resistant Exams: Guidelines and Strategies [0.0]
大規模言語モデル(LLM)は、学術的完全性への潜在的な影響について懸念を提起している。
本稿では,LLMの試験成績と評価への影響について考察する。
本稿では,コンテンツモデレーション,意図的不正確性,モデルの知識ベースを越えた現実シナリオ,効果的な気晴らしオプション,ソフトスキルの評価,非テキスト情報の導入など,LCM耐性試験を作成するためのガイドラインを提案する。
論文 参考訳（メタデータ） (2023-04-18T18:01:32Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。