論文の概要: How Well Can You Articulate that Idea? Insights from Automated Formative Assessment
- arxiv url: http://arxiv.org/abs/2404.11682v1
- Date: Wed, 17 Apr 2024 18:27:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:40:17.446053
- Title: How Well Can You Articulate that Idea? Insights from Automated Formative Assessment
- Title（参考訳）: どのようにしてそのアイデアを表現できるか? - 自動定式化評価の視点から
- Authors: Mahsa Sheikhi Karizaki, Dana Gnesdilow, Sadhana Puntambekar, Rebecca J. Passonneau,
- Abstract要約: 学生の理科解説エッセイに対する自動フィードバックについて検討する。
ルーブリックの主な考え方は、説明の自由がどの程度あるかという点で異なることが分かる。
自動決定プロセスのトレースにより、学生の声明に十分な明快さが欠如している場合に診断できる。
- 参考スコア（独自算出の注目度）: 2.2124180701409233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated methods are becoming increasingly integrated into studies of formative feedback on students' science explanation writing. Most of this work, however, addresses students' responses to short answer questions. We investigate automated feedback on students' science explanation essays, where students must articulate multiple ideas. Feedback is based on a rubric that identifies the main ideas students are prompted to include in explanatory essays about the physics of energy and mass, given their experiments with a simulated roller coaster. We have found that students generally improve on revised versions of their essays. Here, however, we focus on two factors that affect the accuracy of the automated feedback. First, we find that the main ideas in the rubric differ with respect to how much freedom they afford in explanations of the idea, thus explanation of a natural law is relatively constrained. Students have more freedom in how they explain complex relations they observe in their roller coasters, such as transfer of different forms of energy. Second, by tracing the automated decision process, we can diagnose when a student's statement lacks sufficient clarity for the automated tool to associate it more strongly with one of the main ideas above all others. This in turn provides an opportunity for teachers and peers to help students reflect on how to state their ideas more clearly.
- Abstract（参考訳）: 自動解法は、学生の理科解説書における形式的フィードバックの研究にますます統合されつつある。
しかし、この研究の大部分は、短い回答の質問に対する学生の回答に対処している。
学生の理科解説エッセイにおける自動フィードバックについて検討し,学生が複数のアイデアを具体化しなければならない点について考察した。
フィードバックは、シミュレーションされたジェットコースターの実験から、学生がエネルギーと質量の物理学に関する説明的エッセイに含めるよう促される主要なアイデアを特定するルーリックに基づいている。
学生は概してエッセイの改訂版を改良していることが判明した。
しかし、ここでは、自動フィードバックの正確性に影響を与える2つの要因に焦点を当てる。
第一に、ルーリックの主要な考え方は、その概念の説明においてどの程度の自由があるかという点で異なり、したがって自然法則の説明は相対的に制約されている。
学生は、ジェットコースターで観察する複雑な関係、例えば様々な形態のエネルギーの伝達について、より自由に説明できる。
第二に、自動決定プロセスのトレースによって、学生の声明が自動化ツールに十分な明快さを欠いている場合に、それをより強く他のすべてに関連付けることができる。
これにより、教師や仲間が、学生が自分のアイデアをより明確に表現する方法を振り返ることができる。
関連論文リスト
- "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。
CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。
ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-09-11T17:59:01Z) - The end of multiple choice tests: using AI to enhance assessment [0.0]
研究ベースの気晴らし(短い回答)を使うことは、本質的に彼らの提供する洞察に限られています。
これらの制限に対処するため、学生になぜ答えを選んだのかを説明することを勧める。
訓練された人工知能ベースのボットを使用して、説明を分析することができる。
論文 参考訳（メタデータ） (2024-06-11T17:24:30Z) - Distilling Reasoning Ability from Large Language Models with Adaptive Thinking [54.047761094420174]
思考の微調整(cot-finetuning)の連鎖は、小さな言語モデル(SLM)を特定のタスクに対するパフォーマンス向上の推論能力で実現することを目的としている。
既存のコトファインタニング法の多くは事前に考えられたメカニズムを採用しており、SLMは答えを出す前に理性を生成することができる。
このメカニズムにより、SLMは複雑な質問を分析して考えることができるが、答えの正しさは論理的に小さな誤りに非常に敏感になる。
理性よりも先に回答を生成するための頑健な後思考機構を提案する。
論文 参考訳（メタデータ） (2024-04-14T07:19:27Z) - Scalable Two-Minute Feedback: Digital, Lecture-Accompanying Survey as a Continuous Feedback Instrument [0.0]
コースや講義の内容に関する詳細なフィードバックは、改善に不可欠であり、またリフレクションのツールとしても機能します。
本論文は,学生のストレスを定量的に測定し,質的部分における参加者の反射に対処するための形式的フィードバックとして,デジタルサーベイ形式を用いた。
回答は、主に講義内容や組織的側面のトピックをカバーし、講義内の問題を報告するために集中的に使用された。
論文 参考訳（メタデータ） (2023-10-30T08:14:26Z) - PapagAI:Automated Feedback for Reflective Essays [48.4434976446053]
ドクティック理論をベースとして,ハイブリッドAIシステムとして実装された,初のオープンソース自動フィードバックツールを提案する。
本研究の主な目的は,学生の学習成果の向上と,講師の指導活動を補完することである。
論文 参考訳（メタデータ） (2023-07-10T11:05:51Z) - Can Language Models Teach Weaker Agents? Teacher Explanations Improve
Students via Personalization [84.86241161706911]
教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。
また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。
教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
論文 参考訳（メタデータ） (2023-06-15T17:27:20Z) - A literature survey on student feedback assessment tools and their usage
in sentiment analysis [0.0]
我々は,Kahoot!, Mentimeter, Padlet, pollingなどのクラス内フィードバック評価手法の有効性を評価する。
学生の質的なフィードバックコメントから明確な提案を抽出する感情分析モデルを提案する。
論文 参考訳（メタデータ） (2021-09-09T06:56:30Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳（メタデータ） (2020-12-27T06:19:20Z) - Evaluating Explanations: How much do explanations from the teacher aid
students? [103.05037537415811]
本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。
説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
論文 参考訳（メタデータ） (2020-12-01T23:40:21Z) - Towards Transparent Robotic Planning via Contrastive Explanations [1.7231251035416644]
我々はマルコフ決定プロセスに基づくロボット計画政策の対照的な説明概念を定式化する。
本稿では, 選択性, 拘束性, 責任の3つの要因を伴って, 矛盾説明の自動生成手法を提案する。
論文 参考訳（メタデータ） (2020-03-16T19:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。