論文の概要: Evaluating adaptive and generative AI-based feedback and recommendations in a knowledge-graph-integrated programming learning system
- arxiv url: http://arxiv.org/abs/2603.24940v1
- Date: Thu, 26 Mar 2026 02:04:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:48.049777
- Title: Evaluating adaptive and generative AI-based feedback and recommendations in a knowledge-graph-integrated programming learning system
- Title（参考訳）: 知識グラフ統合型プログラミング学習システムにおける適応的・生成的AIに基づくフィードバックとレコメンデーションの評価
- Authors: Lalita Na Nongkhai, Jingyun Wang, Adam Wynn, Takahiko Mendori,
- Abstract要約: 本研究では, 適応型, 生成型AI(GenAI), ハイブリッド型GenAI適応型の3つの学習モードにおける学習者の嗜好について検討した。
解析結果から,GenAIモードからのフィードバックを受ける学習者は,適応モードからのフィードバックを受ける学習者よりも,プログラムロジックが欠落しているコードの方が有意に多いことがわかった。
- 参考スコア（独自算出の注目度）: 2.768786355701785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces the design and development of a framework that integrates a large language model (LLM) with a retrieval-augmented generation (RAG) approach leveraging both a knowledge graph and user interaction history. The framework is incorporated into a previously developed adaptive learning support system to assess learners' code, generate formative feedback, and recommend exercises. Moerover, this study examines learner preferences across three instructional modes; adaptive, Generative AI (GenAI), and hybrid GenAI-adaptive. An experimental study was conducted to compare the learning performance and perception of the learners, and the effectiveness of these three modes using four key log features derived from 4956 code submissions across all experimental groups. The analysis results show that learners receiving feedback from GenAI modes had significantly more correct code and fewer code submissions missing essential programming logic than those receiving feedback from adaptive mode. In particular, the hybrid GenAI-adaptive mode achieved the highest number of correct submissions and the fewest incorrect or incomplete attempts, outperforming both the adaptive-only and GenAI-only modes. Questionnaire responses further indicated that GenAI-generated feedback was widely perceived as helpful, while all modes were rated positively for ease of use and usefulness. These results suggest that the hybrid GenAI-adaptive mode outperforms the other two modes across all measured log features.
- Abstract（参考訳）: 本稿では,知識グラフとユーザインタラクション履歴の両方を活用する大規模言語モデル(LLM)と検索強化世代(RAG)アプローチを統合するフレームワークの設計と開発について紹介する。
フレームワークは以前開発された適応学習支援システムに組み込まれ、学習者のコードを評価し、形式的なフィードバックを生成し、エクササイズを推奨する。
そこで本研究では,適応型,生成型AI(GenAI),ハイブリッド型GenAI適応型という,3つの学習モードの学習者の嗜好について検討した。
学習者の学習成績と知覚を比較検討し, 4956コードからの4つのキーログ特徴を用いた3つのモードの有効性について検討した。
解析結果から,GenAIモードからのフィードバックを受ける学習者は,適応モードからのフィードバックを受ける学習者よりも,プログラムロジックが欠落しているコードの方が有意に多いことがわかった。
特に、ハイブリッドなGenAI適応モードは、最も多くの正しい提案と、最も少ない不正確または不完全な試みを達成し、適応専用モードとGenAI専用モードの両方を上回った。
アンケートの結果,GenAIによるフィードバックは有用であると広く認識され,すべてのモードは使いやすさと有用性のために肯定的に評価された。
これらの結果から,ハイブリッドなGenAI適応モードは,全ログ特徴量で他の2つのモードよりも優れていたことが示唆された。
関連論文リスト
- Directive, Metacognitive or a Blend of Both? A Comparison of AI-Generated Feedback Types on Student Engagement, Confidence, and Outcomes [1.8839714322633465]
本研究は,329名の学生を対象に,適応型教育プラットフォームを用いた授業設計・プログラミングコースにおいて,学期間無作為化比較試験を行った。
参加者は、指示的、メタ認知的、あるいはハイブリッドなAI生成フィードバックを受け取り、指示的、メタ認知的の両方の要素をブレンドする。
その結果、リビジョン行動はフィードバック条件によって異なり、ハイブリットはディレクティブやメタ認知と比較して最も多くのリビジョンを促すことがわかった。
論文 参考訳（メタデータ） (2025-10-22T15:31:21Z) - UserRL: Training Interactive User-Centric Agent via Reinforcement Learning [104.63494870852894]
強化学習(Reinforcement Learning, RL)は、動的多ターン相互作用に関わるエージェントモデルのトレーニングにおいて有望であることを示す。
我々は,標準化された体育環境を通じて,ユーザ中心の能力のトレーニングと評価を行う統一的なフレームワークであるUserRLを提案する。
論文 参考訳（メタデータ） (2025-09-24T03:33:20Z) - Benchmarking Large Language Models for Personalized Guidance in AI-Enhanced Learning [4.990353320509215]
大規模言語モデル(LLM)は、パーソナライズされた学習のためのインテリジェントアシスタントとしてますます考えられている。
本研究では,現実的な学習環境を模擬した学習課題における3つの最先端LLMの実証的比較を行った。
論文 参考訳（メタデータ） (2025-09-02T14:21:59Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Benchmarking Generative AI Models for Deep Learning Test Input Generation [6.674615464230326]
テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。
ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作のための強力なツールとなった。
我々は、異なるGenAIモデルとTIGをベンチマークして組み合わせ、生成したテスト画像の有効性、効率、品質を評価する。
論文 参考訳（メタデータ） (2024-12-23T15:30:42Z) - Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳（メタデータ） (2024-08-29T12:34:01Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Advancing GenAI Assisted Programming--A Comparative Study on Prompt
Efficiency and Code Quality Between GPT-4 and GLM-4 [5.986648786111719]
本稿では,GenAIをプログラミングツールとして活用するためのベストプラクティスについて検討する。
異なるレベルの複雑さで戦略のプロンプトを評価することで、最も単純で簡単なプロンプト戦略が最高のコード生成結果をもたらすことを確認できます。
その結果,GPT-4はGLM-4をわずかに上回っているが,平均的なユーザでは差は最小限であることがわかった。
論文 参考訳（メタデータ） (2024-02-20T07:47:39Z) - Towards Faithful Explanations for Text Classification with Robustness
Improvement and Explanation Guided Training [30.626080706755822]
特徴属性法は、重要な入力トークンをモデル予測の説明として強調する。
近年の研究では、これらの手法による説明は、忠実で堅牢であるという課題に直面している。
本稿では,テキスト分類のためのロバスト性向上と説明指導による,より忠実な説明(REGEX)への指導手法を提案する。
論文 参考訳（メタデータ） (2023-12-29T13:07:07Z) - Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
我々はGeneInputという新しい生成入力パラダイムを提案する。
すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。
その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
論文 参考訳（メタデータ） (2023-11-02T12:01:29Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳（メタデータ） (2023-04-08T14:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。