論文の概要: AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays
- arxiv url: http://arxiv.org/abs/2304.14276v1
- Date: Mon, 24 Apr 2023 12:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 13:02:43.841793
- Title: AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays
- Title（参考訳）: AI, write an essay for me: A Large-scale comparison of human-written vs ChatGPT- generated essays
- Authors: Steffen Herbold, Annette Hautli-Janisz, Ute Heuer, Zlata Kikteva,
Alexander Trautsch
- Abstract要約: ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
- 参考スコア（独自算出の注目度）: 66.36541161082856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Recently, ChatGPT and similar generative AI models have attracted
hundreds of millions of users and become part of the public discourse. Many
believe that such models will disrupt society and will result in a significant
change in the education system and information generation in the future. So
far, this belief is based on either colloquial evidence or benchmarks from the
owners of the models -- both lack scientific rigour.
Objective: Through a large-scale study comparing human-written versus
ChatGPT-generated argumentative student essays, we systematically assess the
quality of the AI-generated content.
Methods: A large corpus of essays was rated using standard criteria by a
large number of human experts (teachers). We augment the analysis with a
consideration of the linguistic characteristics of the generated essays.
Results: Our results demonstrate that ChatGPT generates essays that are rated
higher for quality than human-written essays. The writing style of the AI
models exhibits linguistic characteristics that are different from those of the
human-written essays, e.g., it is characterized by fewer discourse and
epistemic markers, but more nominalizations and greater lexical diversity.
Conclusions: Our results clearly demonstrate that models like ChatGPT
outperform humans in generating argumentative essays. Since the technology is
readily available for anyone to use, educators must act immediately. We must
re-invent homework and develop teaching concepts that utilize these AI models
in the same way as math utilized the calculator: teach the general concepts
first and then use AI tools to free up time for other learning objectives.
- Abstract（参考訳）: 背景: 最近、ChatGPTや同様の生成AIモデルが、数億人のユーザーを引きつけ、公衆の議論の一部となった。
このようなモデルは社会を混乱させ、将来教育システムと情報生成に大きな変化をもたらすと多くの人が信じている。
これまでのところ、この信念は、モデル所有者の口語的証拠またはベンチマークに基づくもので、どちらも科学的厳密さを欠いている。
目的:人間書きとChatGPT生成の議論的学生エッセイを比較し,AI生成コンテンツの品質を体系的に評価する。
方法:多数のエッセイのコーパスが、多数の人間専門家(教師)によって標準基準を用いて評価された。
生成されたエッセイの言語的特徴を考慮した分析を強化する。
結果: この結果から,ChatGPTは人文エッセイよりも高い評価のエッセイを生成することが示された。
aiモデルの文体は、人間の書いたエッセイとは異なる言語的特徴を示しており、例えば、より少ない談話と認識マーカーによって特徴付けられるが、より名指し化と語彙の多様性が特徴である。
結論: この結果は、ChatGPTのようなモデルが、議論的なエッセイを生成する上で人間より優れていることを明らかに示しています。
誰でも利用できる技術なので、教育者はすぐに行動しなければならない。
私たちは宿題を再発明し、数学が電卓を使ったのと同じ方法でこれらのAIモデルを利用する教育概念を開発しなければなりません。
関連論文リスト
- Hey AI Can You Grade My Essay?: Automatic Essay Grading [1.03590082373586]
自動エッセイグレーディング(AEG)分野における最先端モデルよりも優れた新しいモデルを提案する。
我々は,エッセイの文の文法的特徴と構造的特徴のチェックにひとつのネットワークが責任を持ち,エッセイに含まれる全体概念のスコアリングに他のネットワークが責任を持つという,協調的・伝達的学習という概念を用いてきた。
提案手法の精度は85.50%である。
論文 参考訳（メタデータ） (2024-10-12T01:17:55Z) - Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳（メタデータ） (2024-09-29T04:31:45Z) - When Automated Assessment Meets Automated Content Generation: Examining
Text Quality in the Era of GPTs [5.952677937197871]
我々は、人間のコンテンツに基づいてトレーニングされたMLベースのスコアリングモデルが、人間が生成したコンテンツとGPTの質をどのように評価するかを経験的に評価する。
ベンチマーク分析の結果,トランスフォーマー事前学習言語モデル(PLM)は,CNN/RNNや特徴ベースML手法と比較して,人間のエッセイ品質をより正確に評価できることがわかった。
論文 参考訳（メタデータ） (2023-09-25T19:32:18Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳（メタデータ） (2023-09-02T01:24:59Z) - ArguGPT: evaluating, understanding and identifying argumentative essays
generated by GPT models [9.483206389157509]
まず、7つのGPTモデルによって生成された4,038の議論的エッセイのバランスの取れたコーパスであるArguGPTを提示する。
そして、機械エッセイと人間のエッセイを区別するために英語のインストラクターを雇います。
その結果、まず機械によるエッセイに触れると、インストラクターは61%の精度しか検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-16T01:50:26Z) - Will ChatGPT get you caught? Rethinking of Plagiarism Detection [0.0]
人工知能(AI)技術の台頭と教育への影響は近年懸念が高まっている。
チャットボット、特にChatGPTを使った学術エッセイの生成は、学者の間で恐怖を呼び起こした。
この研究は、最も人気のあるAIチャットボットであるChatGPTが生み出すコンテンツの独創性を探求することを目的としている。
論文 参考訳（メタデータ） (2023-02-08T20:59:18Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳（メタデータ） (2023-01-30T08:06:08Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-14T02:29:10Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳（メタデータ） (2020-12-27T06:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。