論文の概要: Can Large Language Models Differentiate Harmful from Argumentative Essays? Steps Toward Ethical Essay Scoring

• arxiv url: http://arxiv.org/abs/2601.05545v1
• Date: Fri, 09 Jan 2026 05:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.855206
• Title: Can Large Language Models Differentiate Harmful from Argumentative Essays? Steps Toward Ethical Essay Scoring
• Title（参考訳）: 大規模言語モデルは弁別的エッセイとハーモフを区別できるか?倫理的エッセイスコーリングへ向けて
• Authors: Hongjin Kim, Jeonghyun Kang, Harksoo Kim,
• Abstract要約: 本研究は,AESシステムとLLM(Large Language Models)における重要なギャップに対処する。 AES技術の進歩にもかかわらず、現在のモデルはエッセイの中で倫理的にも道徳的にも問題のある要素を見落としていることが多い。 この研究は、彼らがスコア付けしているコンテンツの倫理的意味に敏感な、より堅牢なAESシステムの開発の必要性を強調している。
• 参考スコア（独自算出の注目度）: 12.913297153664972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses critical gaps in Automated Essay Scoring (AES) systems and Large Language Models (LLMs) with regard to their ability to effectively identify and score harmful essays. Despite advancements in AES technology, current models often overlook ethically and morally problematic elements within essays, erroneously assigning high scores to essays that may propagate harmful opinions. In this study, we introduce the Harmful Essay Detection (HED) benchmark, which includes essays integrating sensitive topics such as racism and gender bias, to test the efficacy of various LLMs in recognizing and scoring harmful content. Our findings reveal that: (1) LLMs require further enhancement to accurately distinguish between harmful and argumentative essays, and (2) both current AES models and LLMs fail to consider the ethical dimensions of content during scoring. The study underscores the need for developing more robust AES systems that are sensitive to the ethical implications of the content they are scoring.
• Abstract（参考訳）: 本研究では, 有害エッセイを効果的に識別し, 評価する能力に関して, AESシステムとLLM(Large Language Models)システムにおける重要なギャップについて考察する。 AES技術の進歩にもかかわらず、現在のモデルは、しばしば倫理的にも道徳的にも問題のあるエッセイの要素を見落とし、有害な意見を広めるエッセイに高いスコアを割り当てている。 本研究では、人種差別や性バイアスなどのセンシティブなトピックを統合するエッセイを含むハームフル・エッセイ・インテクション(HED)ベンチマークを導入し、有害なコンテンツを認識して評価する上で、様々なLSMの有効性を検証する。 その結果,(1)LLMは有害エッセイと議論的エッセイを正確に区別するためにさらなる強化を必要とし,(2)現在のAESモデルとLLMは,スコアリング時のコンテンツの倫理的次元を考慮できないことがわかった。 この研究は、彼らがスコア付けしているコンテンツの倫理的意味に敏感な、より堅牢なAESシステムの開発の必要性を強調している。

関連論文リスト

• Activations as Features: Probing LLMs for Generalizable Essay Scoring Representations [8.332035939817976]
  横断的エッセイ評価課題において,大規模言語モデルのアクティベーションの識別能力を評価する。 その結果,エッセイの質を評価する上で,アクティベーションは強い差別力を有することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T15:01:07Z)
• Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
  本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。 CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。 これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
  論文  参考訳（メタデータ） (2025-02-18T07:49:31Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity [13.371946973050845]
  我々は、人気のある大言語モデル(LLM)によって生成されるエッセイの特徴と品質を検証し、ベンチマークする。 本研究は,既存の自動スコアリングシステムの限界を強調し,改善すべき領域を特定した。 LLMの多種多様さがAI生成エッセイの検出の可能性を損なう可能性があるという懸念にもかかわらず、我々の研究結果は、あるモデルから生成されたエッセイに基づいて訓練された検出器が、高い精度で他人のテキストを識別できることをしばしば示している。
  論文  参考訳（メタデータ） (2024-10-22T21:30:58Z)
• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。