論文の概要: Is Solving Better Than Evaluating GenAI Solutions?

• arxiv url: http://arxiv.org/abs/2607.27586v1
• Date: Thu, 30 Jul 2026 02:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.363338
• Title: Is Solving Better Than Evaluating GenAI Solutions?
• Title（参考訳）: GenAIソリューションを評価するより問題解決の方が優れているか?
• Abstract要約: 本研究では,GenAIが生成する解を,中等レベルのアルゴリズムコースで従来の問題解決法と比較する。 調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。 学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の利得に変換されなかった。
• 参考スコア（独自算出の注目度）: 45.714140455691485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Generative AI (GenAI) tools become increasingly capable of generating solutions to computing assignments, the computing education community is exploring pedagogical approaches that emphasize solution evaluation, verification, and critique alongside traditional solution generation. However, evidence regarding the impact of such evaluation-centered tasks on student learning remains limited, particularly in upper-division, theory-heavy courses. We conducted a randomized A/B crossover study (N=220) in a junior-level algorithms course to compare evaluating GenAI-generated solutions with traditional problem solving. Across six assignments, student working groups either solved challenging algorithmic problems directly or evaluated often-flawed GenAI-generated solutions, with roles reversed midway through the semester. We found no statistically significant differences between groups in midterm scores, final exam scores, overall course grades, or exam problems structurally aligned with the homework interventions. Students received significantly higher homework scores when evaluating GenAI-generated solutions, but this localized advantage did not translate into downstream summative gains. Survey data further indicated that most students reported no change in study habits in response to the intervention; however, those who reported adapting their study strategies rated the GenAI-evaluation assignments as significantly more helpful. These findings suggest that GenAI evaluation redistributes student effort from open-ended solution construction toward verification, diagnosis, and judgment, but does not automatically produce stronger conceptual transfer. We conclude that GenAI-evaluation activities can be incorporated into algorithms coursework without broad performance losses, but meaningful learning gains may require deliberate scaffolding that pushes students beyond simple error diagnosis.
• Abstract（参考訳）: ジェネレーティブAI(GenAI)ツールは、コンピュータの課題に対するソリューションを生成する能力がますます高まっているため、コンピューティング教育コミュニティは、従来のソリューション生成と並行してソリューションの評価、検証、批判を強調する教育的アプローチを模索している。 しかし、このような評価中心のタスクが生徒の学習に与える影響に関する証拠は、特に上層部、理論重大コースにおいて限られている。 中級アルゴリズムコースでランダム化A/Bクロスオーバースタディ(N=220)を行い,GenAI生成ソリューションと従来の問題解決との比較を行った。 6つの課題にまたがって、学生労働者グループは、アルゴリズム上の問題を直接解決するか、しばしば違法なGenAI生成ソリューションを評価し、学期中に役割が逆転した。 調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。 学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の累積ゲインに変換されなかった。 調査データによると、ほとんどの学生は介入に応じて学習習慣の変化を報告していないが、研究戦略の適応を報告した学生は、GenAI評価の課題をはるかに有益であると評価した。 以上の結果から,GenAI 評価は学生のオープンエンドソリューション構築から検証,診断,判断への努力を再分配するが,より強力な概念伝達を自動生成するわけではないことが示唆された。 我々は、GenAI評価活動は、幅広い性能損失を伴わずにアルゴリズムコースに組み込むことができると結論づけるが、有意義な学習向上には、単純な誤り診断を超えて、学生を意図的に足場化する必要があるかもしれない。

関連論文リスト

• Generative AI Availability, Grades, and Student Satisfaction at a Large University [6.872059640265074]
  高等教育におけるジェネレーティブAI(GenAI)の普及は、生徒が認知的努力をAIにオフロードし、学習せずにハイグレードを得られるという懸念を引き起こしている。 もしこの「玄AI置換仮説」が真なら、玄AIに準じるコースでは成績が不釣り合いに上昇すべきである。 従来より成績の低かった学生の成績に,GenAI利用率に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-23T17:19:55Z)
• Bridging Qualitative Rubrics and AI: A Binary Question Framework for Criterion-Referenced Grading in Engineering [5.378302855328016]
  本研究では, 工学における数学的評価において, GenAI を基準付きグレーティングフレームワークに統合して, グレーディングの効率と品質を向上させる方法について検討した。
  論文  参考訳（メタデータ） (2026-01-22T03:57:47Z)
• Examining the Usage of Generative AI Models in Student Learning Activities for Software Programming [3.2383459424229835]
  本研究では,GenAI支援が従来のオンラインリソースとどのように比較して,知識の獲得を支援するかを検討する。 プログラミング経験の異なる24人の大学生を対象に,制御されたユーザ実験を行った。 以上の結果から,GenAIによる完全解の生成は,特に初心者のタスク性能を著しく向上させるが,必ずしも知識の獲得には至らないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-17T11:42:24Z)
• Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
  システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。 このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。 我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-10-07T17:49:24Z)
• Evaluating undergraduate mathematics examinations in the era of generative AI: a curriculum-level case study [0.0]
  我々はRussell Group大学の8つの学部数学試験に、GenAIを作成した。 GenAIの到達度は1級のレベルですが、現在のパフォーマンスはモジュールによって異なります。
  論文  参考訳（メタデータ） (2025-09-15T10:34:31Z)
• Evaluating the AI-Lab Intervention: Impact on Student Perception and Use of Generative AI in Early Undergraduate Computer Science Courses [0.0]
  Generative AI(GenAI)はコンピュータサイエンス教育に急速に参入しつつある。 形式コースにおける道具使用の指針となる構造的足場の研究のギャップを伴う過信共存に関する懸念。 本研究は,「AI-Lab」の介入が大学生に与える影響について考察する。
  論文  参考訳（メタデータ） (2025-04-30T18:12:42Z)
• Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
  アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。 世界中から約1200チームが参加した。 トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
  論文  参考訳（メタデータ） (2024-06-13T12:58:00Z)
• A Reinforcement Learning-assisted Genetic Programming Algorithm for Team Formation Problem Considering Person-Job Matching [70.28786574064694]
  解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。 効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
  論文  参考訳（メタデータ） (2023-04-08T14:32:12Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Towards Explainable Metaheuristic: Mining Surrogate Fitness Models for Importance of Variables [69.02115180674885]
  4つのベンチマーク問題を用いて代理モデルを訓練し、代理モデルによる探索空間の学習について検討する。 代々の人口データに基づいて学習した結果,サロゲートモデルが問題の鍵となる特徴を抽出できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-31T09:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。