論文の概要: Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students

• arxiv url: http://arxiv.org/abs/2504.10961v2
• Date: Tue, 12 Aug 2025 10:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 14:32:16.059042
• Title: Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students
• Title（参考訳）: 大学生のAI・人間・共産フィードバックの信頼度評価
• Authors: Audrey Zhang, Yifei Gao, Wannapon Suraworachet, Tanya Nazaretsky, Mutlu Cukurova,
• Abstract要約: 本研究は,大学生の大規模言語モデル(LLM)に対する信頼度,人間とAIが共生したフィードバックを,真正なHEの文脈で比較した。 調査の結果、学生はAIを好んでおり、人間のフィードバックよりも有用性と客観性に対するフィードバックを共同生成していることがわかった。 教育AI体験は、LLM生成フィードバックを識別する能力を改善し、あらゆる種類のフィードバックに対する信頼を高めた。
• 参考スコア（独自算出の注目度）: 2.935250567679577
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As generative AI models, particularly large language models (LLMs), transform educational feedback practices in higher education (HE) contexts, understanding students' perceptions of different sources of feedback becomes crucial for their effective implementation and adoption. This study addresses a critical gap by comparing undergraduate students' trust in LLM, human, and human-AI co-produced feedback in their authentic HE context. More specifically, through a within-subject experimental design involving 91 participants, we investigated factors that predict students' ability to distinguish between feedback types, their perceptions of feedback quality, and potential biases related to the source of feedback. Findings revealed that when the source was blinded, students generally preferred AI and co-produced feedback over human feedback regarding perceived usefulness and objectivity. However, they presented a strong bias against AI when the source of feedback was disclosed. In addition, only AI feedback suffered a decline in perceived genuineness when feedback sources were revealed, while co-produced feedback maintained its positive perception. Educational AI experience improved students' ability to identify LLM-generated feedback and increased their trust in all types of feedback. More years of students' experience using AI for general purposes were associated with lower perceived usefulness and credibility of feedback. These insights offer substantial evidence of the importance of source credibility and the need to enhance both feedback literacy and AI literacy to mitigate bias in student perceptions for AI-generated feedback to be adopted and impact education.
• Abstract（参考訳）: 生成型AIモデル、特に大規模言語モデル(LLM)は、高等教育(HE)の文脈で教育的フィードバックの実践を変革するので、学生が様々なフィードバック源に対する認識を理解することは、効果的な実装と採用に不可欠である。 本研究は,LLM,人間,人とAIの協調的フィードバックに対する大学生の信頼度を,真正なHEコンテキストで比較することにより,重要なギャップを解消する。 具体的には、91人の参加者を対象とする実験的なデザインを通じて、学生がフィードバックタイプを区別する能力、フィードバック品質に対する認識、フィードバックの源泉に関する潜在的なバイアスを予測できる要因について検討した。 情報源が盲目になったとき、学生は一般的にAIを好んでおり、知覚された有用性や客観性に関する人間のフィードバックよりもフィードバックを共同生成していた。 しかし、フィードバックのソースが開示されたとき、彼らはAIに対して強い偏見を示しました。 さらに、フィードバックソースが明らかにされたとき、AIフィードバックのみが真の認識の低下を被った一方で、共同生成されたフィードバックはその肯定的な認識を維持した。 教育AI体験は、LLM生成フィードバックを識別する能力を改善し、あらゆる種類のフィードバックに対する信頼を高めた。 一般目的にAIを用いた学生の長年の経験は、フィードバックの有用性と信頼性の低下と関連していた。 これらの洞察は、フィードバックリテラシーとAIリテラシーの両方を強化することで、採用されるAI生成フィードバックに対する学生の認識のバイアスを緩和し、教育に影響を及ぼすための重要な証拠を提供する。

関連論文リスト

• AI-Educational Development Loop (AI-EDL): A Conceptual Framework to Bridge AI Capabilities with Classical Educational Theories [8.500617875591633]
  本研究では、古典的学習理論とAIを融合した理論駆動型フレームワークであるAI-Educational Development Loop(AI-EDL)を紹介する。 このフレームワークは透明性、自己統制型学習、教育的監視を強調している。
  論文  参考訳（メタデータ） (2025-08-01T15:44:19Z)
• When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration [79.69935257008467]
  我々は,人間とAIの知識伝達能力に関する概念的かつ実験的フレームワークである知識統合と伝達評価(KITE)を紹介する。 最初の大規模人間実験(N=118)を行い,その測定を行った。 2段階のセットアップでは、まずAIを使って問題解決戦略を思いつき、その後独立してソリューションを実装し、モデル説明が人間の理解に与える影響を分離します。
  論文  参考訳（メタデータ） (2025-06-05T20:48:16Z)
• Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use [3.345149032274467]
  本研究は,AIによるフィードバックを人的インストラクターのフィードバック提供の迅速化と向上のための提案として活用する可能性を検討する。 学生のエッセイからフィードバックを得られるフィードバックエンジンを開発した。 我々は、20回の1時間のセッションで5つのTAでシンクアラウド研究を行い、AIのフィードバックを評価し、手書きのフィードバックとAIのフィードバックを対比させ、もし提案された場合、AIのフィードバックを使ってどのように想定するかを共有した。
  論文  参考訳（メタデータ） (2025-05-21T14:50:30Z)
• Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
  本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。 さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。 我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
  論文  参考訳（メタデータ） (2025-03-13T11:22:12Z)
• Personalised Feedback Framework for Online Education Programmes Using Generative AI [0.0]
  本稿では,埋め込みを組み込むことでChatGPTの機能を拡張したフィードバックフレームワークを提案する。 本研究の一環として,オープンエンドおよび複数選択質問に対する有効率90%と100%を達成できる概念解の証明を提案し,開発した。
  論文  参考訳（メタデータ） (2024-10-14T22:35:40Z)
• Integrating AI for Enhanced Feedback in Translation Revision- A Mixed-Methods Investigation of Student Engagement [0.0]
  人工知能(AI)によるフィードバックの適用、特にChatGPTのような言語モデルからのフィードバックは、翻訳教育において検討されている。 本研究は,ChatGPTによる翻訳過程における教師の学生の関与について検討した。
  論文  参考訳（メタデータ） (2024-10-11T07:21:29Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• The Responsible Development of Automated Student Feedback with Generative AI [6.008616775722921]
  AIの最近の進歩、特に大規模言語モデル(LLM)では、スケーラブルで反復可能でインスタントなフィードバックを提供する新たな機会が提示されている。 しかし、これらの技術の実装には、慎重に対処しなければならない多くの倫理的考察も導入されている。 AIシステムの中核となる利点の1つは、ルーチンや日常的なタスクを自動化する能力であり、人間の教育者を解放して、より微妙な仕事をさせる可能性がある。 しかし、自動化の容易さは、少数派や独特な学習者の多様なニーズが見過ごされる「多数派」の暴行を招きかねない。
  論文  参考訳（メタデータ） (2023-08-29T14:29:57Z)
• Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style [0.0]
  自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。 コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。 本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
  論文  参考訳（メタデータ） (2020-11-20T21:40:32Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)
• Artificial Artificial Intelligence: Measuring Influence of AI 'Assessments' on Moral Decision-Making [48.66982301902923]
  ドナー腎アロケーションに関する道徳的意思決定に対する疑似AIからのフィードバックの効果を検討した。 患者が腎臓を受容器するかどうかの判断は、AIによって与えられると認識される参加者自身の意思決定に関するフィードバックに影響される可能性があるという証拠がいくつか見出された。
  論文  参考訳（メタデータ） (2020-01-13T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。