論文の概要: Automatic Feedback Generation for Short Answer Questions using Answer Diagnostic Graphs
- arxiv url: http://arxiv.org/abs/2501.15777v1
- Date: Mon, 27 Jan 2025 04:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:57:11.944768
- Title: Automatic Feedback Generation for Short Answer Questions using Answer Diagnostic Graphs
- Title（参考訳）: 回答診断グラフを用いた短い回答質問に対するフィードバック自動生成
- Authors: Momoka Furuhashi, Hiroaki Funayama, Yuya Iwase, Yuichiroh Matsubayashi, Yoriko Isobe, Toru Nagahama, Saku Sugawara, Kentaro Inui,
- Abstract要約: 短読的理解質問は、学生がテキスト構造を理解するのに役立つが、効果的なフィードバックがない。
学生は間違いの特定と修正に苦労するが、手動によるフィードバック作成は労働集約的である。
学生の反応に対するフィードバックを生成するシステムを提案する。
- 参考スコア（独自算出の注目度）: 21.965223446869064
- License:
- Abstract: Short-reading comprehension questions help students understand text structure but lack effective feedback. Students struggle to identify and correct errors, while manual feedback creation is labor-intensive. This highlights the need for automated feedback linking responses to a scoring rubric for deeper comprehension. Despite advances in Natural Language Processing (NLP), research has focused on automatic grading, with limited work on feedback generation. To address this, we propose a system that generates feedback for student responses. Our contributions are twofold. First, we introduce the first system for feedback on short-answer reading comprehension. These answers are derived from the text, requiring structural understanding. We propose an "answer diagnosis graph," integrating the text's logical structure with feedback templates. Using this graph and NLP techniques, we estimate students' comprehension and generate targeted feedback. Second, we evaluate our feedback through an experiment with Japanese high school students (n=39). They answered two 70-80 word questions and were divided into two groups with minimal academic differences. One received a model answer, the other system-generated feedback. Both re-answered the questions, and we compared score changes. A questionnaire assessed perceptions and motivation. Results showed no significant score improvement between groups, but system-generated feedback helped students identify errors and key points in the text. It also significantly increased motivation. However, further refinement is needed to enhance text structure understanding.
- Abstract（参考訳）: 短読的理解質問は、学生がテキスト構造を理解するのに役立つが、効果的なフィードバックがない。
学生は間違いの特定と修正に苦労するが、手動によるフィードバック作成は労働集約的である。
これは、より深い理解のために、回答をスコアリングルーリックにリンクする自動フィードバックの必要性を強調します。
自然言語処理(NLP)の進歩にもかかわらず、研究はフィードバック生成に限定して自動グレーディングに重点を置いている。
そこで本研究では,学生の反応に対するフィードバックを生成するシステムを提案する。
私たちの貢献は2倍です。
まず,短解答読解に対する最初のフィードバックシステムを提案する。
これらの答えは、構造的な理解を必要とするテキストから導かれる。
本稿では,テキストの論理構造をフィードバックテンプレートと統合した「回答診断グラフ」を提案する。
このグラフとNLP技術を用いて,学生の理解度を推定し,対象とするフィードバックを生成する。
第2に,日本人高校生(n=39。
彼らは2つの70-80語質問に答え、最小限の学術的差異を持つ2つのグループに分けられた。
1つはモデル回答、もう1つはシステム生成フィードバックを受け取りました。
両者は質問を再回答し、スコアの変更を比較しました。
アンケートは知覚とモチベーションを評価した。
結果, グループ間では有意なスコア改善は得られなかったが, システムによるフィードバックは, テキスト中の誤りやキーポイントの同定に役立った。
モチベーションも大きく向上した。
しかし、テキスト構造理解を強化するためには、さらなる改良が必要である。
関連論文リスト
- "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。
CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。
ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-09-11T17:59:01Z) - How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - How Well Can You Articulate that Idea? Insights from Automated Formative Assessment [2.2124180701409233]
学生の理科解説エッセイに対する自動フィードバックについて検討する。
ルーブリックの主な考え方は、説明の自由がどの程度あるかという点で異なることが分かる。
自動決定プロセスのトレースにより、学生の声明に十分な明快さが欠如している場合に診断できる。
論文 参考訳（メタデータ） (2024-04-17T18:27:59Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Medical Question Understanding and Answering with Knowledge Grounding
and Semantic Self-Supervision [53.692793122749414]
本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。
我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。
システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
論文 参考訳（メタデータ） (2022-09-30T08:20:32Z) - Few-shot Question Generation for Personalized Feedback in Intelligent
Tutoring Systems [22.167776818471026]
パーソナライズされた修正フィードバックシステムは、生成質問応答システムを改善する可能性があることを示す。
実対話型ITSでは,生徒の学習能力が45%,23%向上した。
論文 参考訳（メタデータ） (2022-06-08T22:59:23Z) - How Do We Answer Complex Questions: Discourse Structure of Long-form
Answers [51.973363804064704]
3つのデータセットから収集した長文回答の機能構造について検討した。
私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。
我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
論文 参考訳（メタデータ） (2022-03-21T15:14:10Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Deep Discourse Analysis for Generating Personalized Feedback in
Intelligent Tutor Systems [4.716555240531893]
ITS(Intelligent Tutoring System)で、自動化されたパーソナライズされたフィードバックの作成を検討します。
我々のゴールは、学生のより優れた学習目標を達成するために、学生の回答の正しい概念と間違った概念を見極めることである。
論文 参考訳（メタデータ） (2021-03-13T20:33:10Z) - Brain-inspired Search Engine Assistant based on Knowledge Graph [53.89429854626489]
developerbotは脳にインスパイアされた、knowledge graphの名前の検索エンジンアシスタントだ。
複雑なマルチ制約クエリを複数の順序制約に分割することで、多層クエリグラフを構築する。
次に、制約推論プロセスを認知科学の拡散活性化モデルに触発されたサブグラフ探索プロセスとしてモデル化する。
論文 参考訳（メタデータ） (2020-12-25T06:36:11Z) - Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style [0.0]
自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。
コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
論文 参考訳（メタデータ） (2020-11-20T21:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。