論文の概要: Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments

• arxiv url: http://arxiv.org/abs/2412.02713v2
• Date: Thu, 12 Dec 2024 13:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:25.085858
• Title: Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments
• Title（参考訳）: IRTを人間とジェネレーティブAIの応答の区別に応用したマルチコースアセスメント
• Authors: Alona Strugatski, Giora Alexandron,
• Abstract要約: 評価に複数の選択質問が広く使用されているにもかかわらず、AI不正の検出はほとんど調査されていない。 本稿では,このギャップに対処するための項目応答理論の適用法を提案する。 我々のアプローチは、人工知能と人間の知性が異なる応答パターンを示すという仮定に基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generative AI is transforming the educational landscape, raising significant concerns about cheating. Despite the widespread use of multiple-choice questions in assessments, the detection of AI cheating in MCQ-based tests has been almost unexplored, in contrast to the focus on detecting AI-cheating on text-rich student outputs. In this paper, we propose a method based on the application of Item Response Theory to address this gap. Our approach operates on the assumption that artificial and human intelligence exhibit different response patterns, with AI cheating manifesting as deviations from the expected patterns of human responses. These deviations are modeled using Person-Fit Statistics. We demonstrate that this method effectively highlights the differences between human responses and those generated by premium versions of leading chatbots (ChatGPT, Claude, and Gemini), but that it is also sensitive to the amount of AI cheating in the data. Furthermore, we show that the chatbots differ in their reasoning profiles. Our work provides both a theoretical foundation and empirical evidence for the application of IRT to identify AI cheating in MCQ-based assessments.
• Abstract（参考訳）: ジェネレーティブAIは、教育の状況を変え、不正行為に関する重要な懸念を提起している。 評価に複数の選択質問が広く使用されているにもかかわらず、MCQベースのテストでAI不正を検出することは、テキストリッチな学生出力に対するAI攻撃の検出に重点を置いているのとは対照的に、ほとんど調査されていない。 本稿では,このギャップに対処するための項目応答理論の適用法を提案する。 我々のアプローチは、人工知能と人間の知性は異なる反応パターンを示すという仮定に基づいており、AIは人間の反応の予測パターンからの逸脱として浮かび上がっている。 これらの偏差はPerson-Fit Statisticsを用いてモデル化される。 本手法は,チャットボットの上位バージョン(ChatGPT,Claude,Gemini)と人間の反応の違いを効果的に強調するが,データ中のAI不正の量にも敏感であることを示す。 さらに,チャットボットは推論プロファイルが異なることを示す。 我々の研究は、MCQに基づく評価において、AI不正を識別するためのIRTの応用に関する理論的基礎と実証的な証拠の両方を提供する。

関連論文リスト

• DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
  既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。 偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
  論文  参考訳（メタデータ） (2025-01-06T23:43:49Z)
• Validity Arguments For Constructed Response Scoring Using Generative Artificial Intelligence Applications [0.0]
  ジェネレーティブAIは、従来のAIスコアリングにおける手作り機能に必要な労力を減らすため、特に魅力的である。 我々は,人間の評価,特徴に基づく自然言語処理AIスコアリングエンジン,生成AIを用いたスコアリングシステムに必要な妥当性証拠を比較した。
  論文  参考訳（メタデータ） (2025-01-04T16:59:29Z)
• Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
  人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。 GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-09T03:53:26Z)
• Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Exploration with Principles for Diverse AI Supervision [88.61687950039662]
  次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:03:39Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• A Turing Test for Transparency [0.0]
  説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。 最近の実証的な証拠は、説明が反対の効果を持つことを示している。 この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2021-06-21T20:09:40Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。