論文の概要: Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments

• arxiv url: http://arxiv.org/abs/2412.02713v1
• Date: Thu, 28 Nov 2024 09:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:47.408331
• Title: Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments
• Title（参考訳）: IRTを人間とジェネレーティブAIの応答の区別に応用したマルチコースアセスメント
• Authors: Alona Strugatski, Giora Alexandron,
• Abstract要約: 評価に複数の選択質問が広く使用されているにもかかわらず、AI不正の検出はほとんど調査されていない。 本稿では,このギャップに対処するための項目応答理論の適用法を提案する。 我々のアプローチは、人工知能と人間の知性が異なる応答パターンを示すという仮定に基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generative AI is transforming the educational landscape, raising significant concerns about cheating. Despite the widespread use of multiple-choice questions in assessments, the detection of AI cheating in MCQ-based tests has been almost unexplored, in contrast to the focus on detecting AI-cheating on text-rich student outputs. In this paper, we propose a method based on the application of Item Response Theory to address this gap. Our approach operates on the assumption that artificial and human intelligence exhibit different response patterns, with AI cheating manifesting as deviations from the expected patterns of human responses. These deviations are modeled using Person-Fit Statistics. We demonstrate that this method effectively highlights the differences between human responses and those generated by premium versions of leading chatbots (ChatGPT, Claude, and Gemini), but that it is also sensitive to the amount of AI cheating in the data. Furthermore, we show that the chatbots differ in their reasoning profiles. Our work provides both a theoretical foundation and empirical evidence for the application of IRT to identify AI cheating in MCQ-based assessments.
• Abstract（参考訳）: ジェネレーティブAIは、教育の状況を変え、不正行為に関する重要な懸念を提起している。 評価に複数の選択質問が広く使用されているにもかかわらず、MCQベースのテストでAI不正を検出することは、テキストリッチな学生出力に対するAI攻撃の検出に重点を置いているのとは対照的に、ほとんど調査されていない。 本稿では,このギャップに対処するための項目応答理論の適用法を提案する。 我々のアプローチは、人工知能と人間の知性は異なる反応パターンを示すという仮定に基づいており、AIは人間の反応の予測パターンからの逸脱として浮かび上がっている。 これらの偏差はPerson-Fit Statisticsを用いてモデル化される。 本手法は,チャットボットの上位バージョン(ChatGPT,Claude,Gemini)と人間の反応の違いを効果的に強調するが,データ中のAI不正の量にも敏感であることを示す。 さらに,チャットボットは推論プロファイルが異なることを示す。 我々の研究は、MCQに基づく評価において、AI不正を識別するためのIRTの応用に関する理論的基礎と実証的な証拠の両方を提供する。

関連論文リスト

• Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
  我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。 また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
  論文  参考訳（メタデータ） (2024-10-28T23:10:06Z)
• Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
  人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。 GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-09T03:53:26Z)
• Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Generative AI in Writing Research Papers: A New Type of Algorithmic Bias and Uncertainty in Scholarly Work [0.38850145898707145]
  大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。 生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。 研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T04:05:04Z)
• Exploration with Principles for Diverse AI Supervision [88.61687950039662]
  次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:03:39Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• The Response Shift Paradigm to Quantify Human Trust in AI Recommendations [6.652641137999891]
  説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。 我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。 我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
  論文  参考訳（メタデータ） (2022-02-16T22:02:09Z)
• A Turing Test for Transparency [0.0]
  説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。 最近の実証的な証拠は、説明が反対の効果を持つことを示している。 この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2021-06-21T20:09:40Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。