論文の概要: Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students

• arxiv url: http://arxiv.org/abs/2504.10961v1
• Date: Tue, 15 Apr 2025 08:06:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:07:01.327667
• Title: Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students
• Title（参考訳）: 大学生のAI・人間・共産フィードバックの信頼度評価
• Authors: Audrey Zhang, Yifei Gao, Wannapon Suraworachet, Tanya Nazaretsky, Mutlu Cukurova,
• Abstract要約: 学生は一般的にAIを好んでおり、人間のフィードバックよりも有用性や客観性という観点でフィードバックを共同生成している。 男性学生は、すべてのフィードバックタイプが女性や非バイナリーのタイプよりも価値が低いと一貫して評価した。 これらの知見は、高等教育フィードバックシステムにAIを統合するためのエビデンスベースのガイドラインを示唆する。
• 参考スコア（独自算出の注目度）: 2.935250567679577
• License:
• Abstract: As generative AI transforms educational feedback practices, understanding students' perceptions of different feedback providers becomes crucial for effective implementation. This study addresses a critical gap by comparing undergraduate students' trust in AI-generated, human-created, and human-AI co-produced feedback, informing how institutions can adapt feedback practices in this new era. Through a within-subject experiment with 91 participants, we investigated factors predicting students' ability to distinguish between feedback types, perception of feedback quality, and potential biases to AI involvement. Findings revealed that students generally preferred AI and co-produced feedback over human feedback in terms of perceived usefulness and objectivity. Only AI feedback suffered a decline in perceived genuineness when feedback sources were revealed, while co-produced feedback maintained its positive perception. Educational AI experience improved students' ability to identify AI feedback and increased their trust in all feedback types, while general AI experience decreased perceived usefulness and credibility. Male students consistently rated all feedback types as less valuable than their female and non-binary counterparts. These insights inform evidence-based guidelines for integrating AI into higher education feedback systems while addressing trust concerns and fostering AI literacy among students.
• Abstract（参考訳）: 生成型AIが教育的フィードバックの実践を変革するにつれ、学生の異なるフィードバック提供者に対する認識を理解することは、効果的な実装に不可欠である。 本研究は, 大学生のAI生成, 人為的, 人とAI共生的フィードバックに対する信頼度を比較し, 新たな時代におけるフィードバック実践の適応方法を示すことによって, 重大なギャップを解消するものである。 91名の被験者を対象に実験を行い,学生のフィードバックタイプ,フィードバック品質の知覚,AIへの関与に対する潜在的なバイアスを識別する能力を予測する因子について検討した。 その結果、学生は一般的にAIを好んでおり、人間のフィードバックよりも、有用性と客観性が知覚される点において、フィードバックを共同生成していることがわかった。 フィードバックソースが明らかになったとき、AIフィードバックのみが真の認識を低下させ、共同生成されたフィードバックはその肯定的な認識を維持した。 教育AI体験は、学生のAIフィードバックの識別能力を改善し、すべてのフィードバックタイプに対する信頼を高め、一般AI体験は有用性と信頼性を低下させた。 男性学生は、すべてのフィードバックタイプが女性や非バイナリーのタイプよりも価値が低いと一貫して評価した。 これらの知見は、信頼関係に対処し、学生のAIリテラシーを促進する一方で、高等教育フィードバックシステムにAIを統合するためのエビデンスベースのガイドラインを示唆する。

関連論文リスト

• Personalised Feedback Framework for Online Education Programmes Using Generative AI [0.0]
  本稿では,埋め込みを組み込むことでChatGPTの機能を拡張したフィードバックフレームワークを提案する。 本研究の一環として,オープンエンドおよび複数選択質問に対する有効率90%と100%を達成できる概念解の証明を提案し,開発した。
  論文  参考訳（メタデータ） (2024-10-14T22:35:40Z)
• Integrating AI for Enhanced Feedback in Translation Revision- A Mixed-Methods Investigation of Student Engagement [0.0]
  人工知能(AI)によるフィードバックの適用、特にChatGPTのような言語モデルからのフィードバックは、翻訳教育において検討されている。 本研究は,ChatGPTによる翻訳過程における教師の学生の関与について検討した。
  論文  参考訳（メタデータ） (2024-10-11T07:21:29Z)
• "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
  本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。 CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。 ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-11T17:59:01Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• The Responsible Development of Automated Student Feedback with Generative AI [6.008616775722921]
  AIの最近の進歩、特に大規模言語モデル(LLM)では、スケーラブルで反復可能でインスタントなフィードバックを提供する新たな機会が提示されている。 しかし、これらの技術の実装には、慎重に対処しなければならない多くの倫理的考察も導入されている。 AIシステムの中核となる利点の1つは、ルーチンや日常的なタスクを自動化する能力であり、人間の教育者を解放して、より微妙な仕事をさせる可能性がある。 しかし、自動化の容易さは、少数派や独特な学習者の多様なニーズが見過ごされる「多数派」の暴行を招きかねない。
  論文  参考訳（メタデータ） (2023-08-29T14:29:57Z)
• Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style [0.0]
  自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。 コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。 本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
  論文  参考訳（メタデータ） (2020-11-20T21:40:32Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)
• Artificial Artificial Intelligence: Measuring Influence of AI 'Assessments' on Moral Decision-Making [48.66982301902923]
  ドナー腎アロケーションに関する道徳的意思決定に対する疑似AIからのフィードバックの効果を検討した。 患者が腎臓を受容器するかどうかの判断は、AIによって与えられると認識される参加者自身の意思決定に関するフィードバックに影響される可能性があるという証拠がいくつか見出された。
  論文  参考訳（メタデータ） (2020-01-13T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。