論文の概要: Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading

• arxiv url: http://arxiv.org/abs/2610.41215v1
• Date: Fri, 30 Oct 2026 03:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.609754
• Title: Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading
• Title（参考訳）: レスポンシブ・スコリングを超えて - 自動数学的短解法グラフ作成のためのAI対応認知的スーパービジョン・フレームワーク
• Abstract要約: トランスフォーマーに基づく言語モデルは、自動短解階調(ASAG)において顕著な成功を収めた これらのスコアのみの手法は、同一のスコアに関連する様々な応答やスキル状態にまたがる一般化に失敗する。 本稿では,2分岐マルチタスクフレームワークであるAICG(AI-Aware Cognitive-supervised Grading)を提案する。
• 参考スコア（独自算出の注目度）: 8.858171965804912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models have achieved remarkable success in automated short answer grading (ASAG). However, current methods in ASAG struggle to comprehend, reason about and evaluate complex mathematical answers involving symbols and formulas. These score-only methods fail to generalize across diverse responses and skill states associated with identical scores. Moreover, they ignore the potential upward bias introduced by generative Artificial Intelligence (AI) usage in assessing students' performance and knowledge mastery. To address these limitations, we propose AICG (AI-aware Cognitive-supervised Grading), a two-branch multi-task framework. The first branch combines RoBERTa-based regression, ordinal, and classification heads for individual-answer grading. The second branch uses an expert-designed Q-matrix to associate responses with assessed skills and jointly predicts G-DINA-derived skill mastery and learning gain. Through the shared encoder, these skill-level targets provide cognitive supervision for answer grading beyond score labels. AICG further uses a Gen-AI detector, trained through supervised contrastive pretraining followed by linear classification, to estimate assistance probabilities and convert them into reliability weights, attenuating unreliable cognitive evidence during learning assessment. We conduct experiments on 49,402 instructor-graded responses spanning 19 academic semesters. Relative to RoBERTa regression, AICG reduces mean absolute error (MAE) by 50.3% and improves quadratic weighted kappa (QWK) from 0.798 to 0.927. Ablations identify Q-matrix-guided cognitive supervision as the primary source of improvement, while AI-aware weighting further reduces overall MAE by 4.2% over the unweighted cognitive model and consistently improves MAE and QWK across the four most recent post-Gen-AI semesters.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、自動短解階調(ASAG)において顕著な成功を収めた。 しかし、ASAGの現在の手法は、記号や公式を含む複雑な数学的解法を理解し、推論し、評価するのに苦労している。 これらのスコアのみの手法は、同一のスコアに関連する様々な応答やスキル状態にまたがる一般化に失敗する。 さらに,生成的人工知能(AI)を用いた生徒のパフォーマンスと知識の熟達度の評価において,上向きバイアスがもたらされる可能性を無視する。 これらの制約に対処するために,2分岐マルチタスクフレームワークであるAICG(AI-Aware Cognitive-supervised Grading)を提案する。 第1のブランチは、RoBERTaベースの回帰、順序、および個別回答グレーディングのための分類ヘッドを組み合わせる。 第2のブランチでは、専門家が設計したQ行列を使用して、応答と評価されたスキルを関連付け、G-DINA由来のスキル習得と学習の獲得を共同で予測する。 共有エンコーダを通じて、これらのスキルレベルのターゲットは、スコアラベルを超えた回答グレーディングの認知的監督を提供する。 AICGはさらに、教師付きコントラスト事前訓練と線形分類を通じて訓練されたGen-AI検出器を使用して、補助確率を推定し、それらを信頼性ウェイトに変換し、学習評価中に信頼できない認知的証拠を減衰させる。 19の学級にまたがる49,402人のインストラクター級の応答について実験を行った。 RoBERTa回帰と比較して、AICGは平均絶対誤差(MAE)を50.3%削減し、二次重み付きカッパ(QWK)を0.798から0.927に改善する。 アブレーションはQ行列誘導認知監督を改善の主源としており、一方AI認識重み付けは、非重み付き認知モデルよりも全体のMAEを4.2%減らし、最新の4つのGen-AIセメターにおいて一貫してMAEとQWKを改善している。

関連論文リスト

• Regulating the AI Tutor: Intentions, Help-Seeking, and Self-Regulated Learning in Adolescent GenAI Use [2.024558551027881]
  このワーク・イン・プログレスでは、ドイツ・ギムナシウムの学校3校の98年生を対象に、オープンエンドの会話データを調査している。 ドメイン前知識,チャット前学習ニーズ,自己報告型認知負荷を収集した。 学生はチャットの前に圧倒的に足場付きサポートを選択したが、その相互作用は道具的要求によって支配された。
  論文  参考訳（メタデータ） (2026-06-07T10:47:52Z)
• PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents [53.369140518949656]
  外部知識グラフ(KG)の統合により,大規模言語モデル(LLM)ベースのシステムを強化する新しいフレームワークであるPersonalAI 2.0(PAI-2)を紹介する。 提案手法は,動的でマルチステージなクエリ処理パイプラインを組み込むことにより,既存のGraphRAG(Retrieval-Augmented Generation)メソッドの重要な制限に対処する。 グラフアルゴリズム(例えば、BeamSearch、WaterCircles)は、平均6%の標準フラットテンレトリバーよりも優れた結果が得られる一方で、検索計画強化機構は、6つのデータセットにわたるLLM-as-a-Judgeによる障害アルゴリズムに比べて18%向上することを示す。
  論文  参考訳（メタデータ） (2026-05-13T13:06:30Z)
• A Definition of AGI [208.25193480759026]
  人工知能の具体的な定義の欠如は、今日の専門的なAIと人間レベルの認知のギャップを曖昧にしている。 そこで本研究では,AGIを認知的多目的性と熟達度に適合するものとして,これに対応するための定量的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-21T01:28:35Z)
• The next question after Turing's question: Introducing the Grow-AI test [51.56484100374058]
  本研究は,GROW-AIと呼ばれる人工知能評価の枠組みを拡張することを目的としている。 GROW-AIは、チューリングテストの自然な後継者である"Can Machine grow up? この作品の独創性は、人間の世界から人工知能への「成長」過程の概念的な変換にある。
  論文  参考訳（メタデータ） (2025-08-22T10:19:42Z)
• Predicting ChatGPT Use in Assignments: Implications for AI-Aware Assessment Design [0.0]
  この研究は、ChatGPTを新しい概念の学習に頻繁に使うことは、潜在的過度に相関していることを示している。 我々は、イノベーションと学術的厳密さのバランスをとるために、規律に特有なガイドラインと再考された評価戦略を提案する。
  論文  参考訳（メタデータ） (2025-08-16T11:09:38Z)
• AGITB: A Signal-Level Benchmark for Evaluating Artificial General Intelligence [0.0]
  Artificial General Intelligence Testbed (AGITB)は14の初等試験からなる新しいベンチマークスイートを導入した。 AGITBは、事前訓練することなく、段階的に、時間的シーケンスで次の入力を予測する能力に関するモデルを評価する。 ヒトの皮質は全てのテストを満たすが、現在のAIシステムは完全なAGITB基準を満たしていない。
  論文  参考訳（メタデータ） (2025-04-06T10:01:15Z)
• General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
  ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。 私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。 私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
  論文  参考訳（メタデータ） (2025-03-09T01:13:56Z)
• GAIA: Rethinking Action Quality Assessment for AI-Generated Videos [56.047773400426486]
  アクション品質アセスメント(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されている。 我々は,新たな因果推論の観点から大規模主観評価を行うことにより,GAIAを構築した。 その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、メインストリームビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2024-06-10T08:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。