論文の概要: Enhancing Multi-Domain Automatic Short Answer Grading through an Explainable Neuro-Symbolic Pipeline

• arxiv url: http://arxiv.org/abs/2403.01811v2
• Date: Tue, 19 Mar 2024 15:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:01:00.185409
• Title: Enhancing Multi-Domain Automatic Short Answer Grading through an Explainable Neuro-Symbolic Pipeline
• Title（参考訳）: 説明可能なニューロ・シンボリックパイプラインによるマルチドメイン自動短解像の実現
• Authors: Felix Künnecke, Anna Filighera, Colin Leong, Tim Steuer,
• Abstract要約: 本稿では,正当性に基づく説明可能なASAGのためのニューロシンボリックモデルを提案する。 我々のアプローチは、ショートアンサーフィードバックデータセットの最先端技術と比較してRMSEを0.24から0.3改善する。
• 参考スコア（独自算出の注目度）: 3.740310362300391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grading short answer questions automatically with interpretable reasoning behind the grading decision is a challenging goal for current transformer approaches. Justification cue detection, in combination with logical reasoners, has shown a promising direction for neuro-symbolic architectures in ASAG. But, one of the main challenges is the requirement of annotated justification cues in the students' responses, which only exist for a few ASAG datasets. To overcome this challenge, we contribute (1) a weakly supervised annotation procedure for justification cues in ASAG datasets, and (2) a neuro-symbolic model for explainable ASAG based on justification cues. Our approach improves upon the RMSE by 0.24 to 0.3 compared to the state-of-the-art on the Short Answer Feedback dataset in a bilingual, multi-domain, and multi-question training setup. This result shows that our approach provides a promising direction for generating high-quality grades and accompanying explanations for future research in ASAG and educational NLP.
• Abstract（参考訳）: グレーディング決定の背後にある解釈可能な推論を伴って、簡単な答えを自動でグラディングすることは、現在のトランスフォーマーアプローチにとって難しい目標である。 正当化キュー検出は論理的推論と組み合わせて、ASAGのニューロシンボリックアーキテクチャーにとって有望な方向を示している。 しかし、主な課題の1つは、いくつかのASAGデータセットにのみ存在する、学生の反応に注釈付けされた正当化手順が必要であることである。 この課題を克服するために,(1)ASAGデータセットの正当性を示す弱教師付きアノテーション手法,(2)正当性に基づく説明可能なASAGのニューロシンボリックモデルを提案する。 提案手法は,2言語,マルチドメイン,マルチクエクションのトレーニングセットアップにおけるショートアンサーフィードバックデータセットの最先端と比較して,RMSEを0.24から0.3改善する。 以上の結果から,本手法は高品質な学級を創出する上で有望な方向性を示し,今後のASAG研究やNLP教育における研究にともなう説明を提供する。

関連論文リスト

• A LLM-Powered Automatic Grading Framework with Human-Level Guidelines Optimization [31.722907135361492]
  学習分析(LA)の文脈において、学習者の反応をより深く把握するための強力なツールとして、オープン・エンド・ショート・アンサー・質問(SAG)が広く認識されている。 SAGは、高グレードの作業負荷と一貫性のない評価に関する懸念のために、実際に課題を提示することが多い。 本稿では,大規模言語モデル(LLM)をSAGのグレーダとして活用する統合型マルチエージェントASAGフレームワークであるGradeOptを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:11:24Z)
• Automated Long Answer Grading with RiceChem Dataset [19.34390869143846]
  教育自然言語処理分野における新たな研究分野について紹介する:ALAG(Automated Long Answer Grading) ALAGは、事実に基づく長い答えの複雑さと多面的な性質のために、ユニークな課題を提示している。 本稿では, 自然言語推論モデルを用いて, ALAG に対する新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-22T16:28:09Z)
• IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions [22.311234565170796]
  本稿では,帰納的知識と検索した文書の暗黙的推論を併用した誘導拡張生成(IAG)フレームワークを提案する。 IAG-GPT は GPT-3 が生成した知識を直接利用し、IAG-Student は GPT サービスへの依存を推測時に排除する。 実験の結果, IAGはRAGベースラインとChatGPTを2つのオープンドメインQAタスクで上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T09:48:51Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Exploiting Abstract Meaning Representation for Open-Domain Question Answering [18.027908933572203]
  抽象的意味表現(AMR)グラフを用いて、複雑な意味情報を理解するモデルを支援する。 また,Natural Questions (NQ) と TriviaQA (TQ) の結果から,GST法が性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2023-05-26T16:00:16Z)
• Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
  我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。 オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
  論文  参考訳（メタデータ） (2022-02-16T05:59:53Z)
• QUEACO: Borrowing Treasures from Weakly-labeled Behavior Data for Query Attribute Value Extraction [57.56700153507383]
  本稿では,QUEACOというEコマース検索におけるクエリ属性値の統一抽出システムを提案する。 NER フェーズでは、QUEACO は教師-学生ネットワークを採用し、強くラベル付けされたデータに基づいてトレーニングされた教師ネットワークが擬似ラベルを生成する。 AVN フェーズでは、弱いラベル付けされたクエリ・ツー・アトリビュート・ビヘイビア・データを利用して、クエリーから表層属性値の正規化を行い、製品から標準形式へと変換する。
  論文  参考訳（メタデータ） (2021-08-19T03:24:23Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)
• Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning [73.00049753292316]
  本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。 NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-03T05:17:55Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。