論文の概要: Check Me If You Can: Detecting ChatGPT-Generated Academic Writing using
CheckGPT
- arxiv url: http://arxiv.org/abs/2306.05524v1
- Date: Wed, 7 Jun 2023 12:33:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 15:35:11.725514
- Title: Check Me If You Can: Detecting ChatGPT-Generated Academic Writing using
CheckGPT
- Title（参考訳）: checkgpt を使って chatgpt が生成したアカデミックライティングを検出する
- Authors: Zeyan Liu, Zijun Yao, Fengjun Li, Bo Luo
- Abstract要約: GPABenchmarkは、CS、物理学、人文科学、社会科学(HSS)の研究論文の、人文・人文・人文・人文・人文・人文・人文・社会科学の60万件のベンチマークデータセットである。
次に,汎用表現モジュールと減衰BiLSTM分類モジュールからなる新しいLCMコンテンツ検出器であるCheckGPTについて述べる。
- 参考スコア（独自算出の注目度）: 6.4610101423717845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With ChatGPT under the spotlight, utilizing large language models (LLMs) for
academic writing has drawn a significant amount of discussions and concerns in
the community. While substantial research efforts have been stimulated for
detecting LLM-Generated Content (LLM-content), most of the attempts are still
in the early stage of exploration. In this paper, we present a holistic
investigation of detecting LLM-generate academic writing, by providing a
dataset, evidence, and algorithms, in order to inspire more community effort to
address the concern of LLM academic misuse. We first present GPABenchmark, a
benchmarking dataset of 600,000 samples of human-written, GPT-written,
GPT-completed, and GPT-polished abstracts of research papers in CS, physics,
and humanities and social sciences (HSS). We show that existing open-source and
commercial GPT detectors provide unsatisfactory performance on GPABenchmark,
especially for GPT-polished text. Moreover, through a user study of 150+
participants, we show that it is highly challenging for human users, including
experienced faculty members and researchers, to identify GPT-generated
abstracts. We then present CheckGPT, a novel LLM-content detector consisting of
a general representation module and an attentive-BiLSTM classification module,
which is accurate, transferable, and interpretable. Experimental results show
that CheckGPT achieves an average classification accuracy of 98% to 99% for the
task-specific discipline-specific detectors and the unified detectors. CheckGPT
is also highly transferable that, without tuning, it achieves ~90% accuracy in
new domains, such as news articles, while a model tuned with approximately
2,000 samples in the target domain achieves ~98% accuracy. Finally, we
demonstrate the explainability insights obtained from CheckGPT to reveal the
key behaviors of how LLM generates texts.
- Abstract（参考訳）: ChatGPTが注目を浴びる中、学術的な執筆に大規模言語モデル(LLM)を利用することは、コミュニティでかなりの議論と関心を惹きつけてきた。
LLM-Generated Content (LLM-content) を検出するためにかなりの研究努力がなされているが、ほとんどの試みはまだ初期段階にある。
本稿では, LLM の学術的誤用に対する懸念に対処するために, データセット, 証拠, アルゴリズムを提供することにより, LLM の生成する学術的著作を検出するための総合的研究を行う。
GPABenchmarkは、CS、物理学、人文科学、社会科学(HSS)の研究論文の、人文・人文・人文・人文・人文・人文・社会科学の600,000サンプルのベンチマークデータセットである。
既存のオープンソースおよび商用 GPT 検出器は GPABenchmark に不満足な性能を示し,特に GPT をポリレートしたテキストに対して有効である。
また,150名以上の参加者を対象としたユーザ調査により,経験豊富な教員や研究者を含む人間ユーザに対して,gpt生成した抽象概念の同定が極めて困難であることが示された。
次に,汎用表現モジュールと減衰BiLSTM分類モジュールからなる新しいLCMコンテンツ検出器であるCheckGPTについて述べる。
実験の結果,checkgptはタスク特化検出器と統一検出器の平均分類精度98%から99%を達成した。
checkgptは高度に転送可能で、チューニングなしではニュース記事など新しいドメインで90%の精度を達成でき、ターゲットドメインで約2000サンプルをチューニングしたモデルでは98%の精度を達成している。
最後に,CheckGPTから得られた説明可能性について,LLMによるテキスト生成の鍵となる振る舞いを明らかにする。
関連論文リスト
- Chatbots Are Not Reliable Text Annotators [0.0]
ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。
オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
論文 参考訳（メタデータ） (2023-11-09T22:28:14Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - On the Generalization of Training-based ChatGPT Detection Methods [33.46128880100525]
ChatGPTは、様々な自然言語タスクにおいて素晴らしいパフォーマンスを達成する最もポピュラーな言語モデルの1つである。
また、人書きから生成されたChatGPTのテキストを検出する必要がある。
論文 参考訳（メタデータ） (2023-10-02T16:13:08Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark
Datasets [19.521390684403293]
本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。
具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
論文 参考訳（メタデータ） (2023-05-29T12:37:21Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries
Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。
自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:28:33Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。