論文の概要: Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek

• arxiv url: http://arxiv.org/abs/2510.15009v1
• Date: Thu, 16 Oct 2025 08:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.315577
• Title: Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek
• Title（参考訳）: 生成型AIは図形言語を理解できるか? : ChatGPT, Gemini, Deepseekのエッセイ評価に及ぼすイディオムの影響
• Authors: Enis Oğuz,
• Abstract要約: ジェネレーティブAIは、学生エッセイの自動評価において、AESシステムと競合するものとして提案されている。 本研究は,エッセイにおけるジェネレーティブAIモデルの評価性能について,イディオムの有無による評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The developments in Generative AI technologies have paved the way for numerous innovations in different fields. Recently, Generative AI has been proposed as a competitor to AES systems in evaluating student essays automatically. Considering the potential limitations of AI in processing idioms, this study assessed the scoring performances of Generative AI models for essays with and without idioms by incorporating insights from Corpus Linguistics and Computational Linguistics. Two equal essay lists were created from 348 student essays taken from a corpus: one with multiple idioms present in each essay and another with no idioms in essays. Three Generative AI models (ChatGPT, Gemini, and Deepseek) were asked to score all essays in both lists three times, using the same rubric used by human raters in assigning essay scores. The results revealed excellent consistency for all models, but Gemini outperformed its competitors in interrater reliability with human raters. There was also no detectable bias for any demographic group in AI assessment. For essays with multiple idioms, Gemini followed a the most similar pattern to human raters. While the models in the study demonstrated potential for a hybrid approach, Gemini was the best candidate for the task due to its ability to handle figurative language and showed promise for handling essay-scoring tasks alone in the future.
• Abstract（参考訳）: ジェネレーティブAI技術の発展は、さまざまな分野における多くのイノベーションの道を開いた。 近年,学生エッセイの自動評価において,AESシステムと競合する生成AIが提案されている。 本研究は,イディオム処理におけるAIの潜在的な限界を考慮し,コーパス言語学と計算言語学の知見を取り入れて,イディオムのないエッセイのための生成AIモデルのスコアリング性能を評価した。 2つの同等のエッセイリストは、コーパスから取られた348の学生エッセイから作成され、1つはエッセイに複数のイディオムがあり、もう1つはエッセイにイディオムがない。 3つのジェネレーティブAIモデル(ChatGPT、Gemini、Deepseek)は、エッセイスコアの割り当てにヒトのラテンダーが使用するのと同じルーリックを使用して、両方のリストですべてのエッセイを3回集めるよう求められた。 その結果、全てのモデルに優れた一貫性が示されたが、ジェミニは人間のレーダとの相互信頼性においてライバルより優れていた。 また、AIアセスメントにおける人口統計グループに対する検出可能なバイアスもなかった。 複数のイディオムを持つエッセイでは、ジェミニは人間のレイパーに最もよく似たパターンを踏襲した。 研究のモデルはハイブリッドアプローチの可能性を示したが、図形言語を扱えるため、ジェミニはタスクの最適候補であり、将来はエッセイ的なタスクのみを扱うことを約束していた。

関連論文リスト

• Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• A Roadmap to Pluralistic Alignment [49.29107308098236]
  本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。 我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。 我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
  論文  参考訳（メタデータ） (2024-02-07T18:21:17Z)
• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models [9.483206389157509]
  まず、7つのGPTモデルによって生成された4,038の議論的エッセイのバランスの取れたコーパスであるArguGPTを提示する。 そして、機械エッセイと人間のエッセイを区別するために英語のインストラクターを雇います。 その結果、まず機械によるエッセイに触れると、インストラクターは61%の精度しか検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-16T01:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。