論文の概要: A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment
- arxiv url: http://arxiv.org/abs/2609.05143v1
- Date: Fri, 04 Sep 2026 13:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.059601
- Title: A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment
- Title（参考訳）: 大規模評価評価におけるAI支援スコーリングのためのHuman-in-the-Loopフレームワーク
- Abstract要約: 本研究では,大規模国家評価における筆記応答のためのAI支援スコアリングフレームワークの設計と妥当性について述べる。
提案手法は,約150～200ワードの短いテキストに焦点をあて,手作業量を削減するとともに,評価品質の維持を図る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The integration of artificial intelligence (AI), particularly large language models (LLMs), into educational assessment has opened new opportunities to enhance the efficiency and scalability of grading processes. This study presents the design and validation of an AI-assisted scoring framework for written responses in a large-scale national assessment. The proposed approach focuses on short written texts of approximately 150-200 words and incorporates a human-in-the-loop strategy to preserve assessment quality while reducing manual workload. The study is grounded in a real operational context, using data from two recent editions of a nationwide test, each comprising approximately 5,000 student responses. We analyze the alignment between AI-generated scores and human raters across multiple rubric dimensions, as well as the impact of the proposed decision flow on pass/fail outcomes. Results show moderate to high agreement between the model and human evaluations in most dimensions, supporting the feasibility of AI assistance in this setting. Moreover, the proposed correction workflow identifies cases where human review is most valuable, enabling a more efficient allocation of expert effort. The findings suggest that AI-assisted scoring can be safely integrated into large-scale assessment processes only when combined with carefully designed human oversight. The paper concludes by discussing practical implications for deployment in national assessment systems and outlining future research directions, including longitudinal monitoring of model-human alignment and the analysis of potential cognitive bias introduced by AI-supported review workflows.
- Abstract（参考訳）: 人工知能(AI)、特に大規模言語モデル(LLM)を教育評価に統合することで、グレーディングプロセスの効率性とスケーラビリティを高める新たな機会が開かれた。
本研究では,大規模国家評価における筆記応答のためのAI支援スコアリングフレームワークの設計と妥当性について述べる。
提案手法は,約150～200ワードの短いテキストに焦点をあて,手作業量を削減するとともに,評価品質の維持を図る。
この研究は、全国テストの2つの最新版のデータを用いて、実際の運用状況に基づいており、それぞれ約5,000人の学生の回答で構成されている。
我々は,AIが生成するスコアと,複数のルーリック次元にわたる人間のレーダのアライメントと,提案した決定フローがパス/フェイル結果に与える影響を解析する。
その結果、ほとんどの次元において、モデルと人間の評価の中間から高い一致が示され、この環境でのAI支援の実現可能性を支持している。
さらに、提案した補正ワークフローは、人間のレビューが最も価値があるケースを特定し、専門家の努力をより効率的に割り当てることを可能にする。
この結果から,AIを用いたスコアリングは,慎重に設計された人間の監視と組み合わせることで,大規模評価プロセスに安全に統合できることが示唆された。
本稿は,AI支援のレビューワークフローがもたらす認知バイアスの分析とモデル・ヒューマンアライメントの経時的モニタリングを含む,国家評価システムへの展開の実践的意義を論じ,今後の研究方向性の概要を論じる。
関連論文リスト
- Beyond Accuracy: Towards a Robust Evaluation Methodology for AI Systems for Language Education [0.0]
AIによる言語教育における大規模言語モデルの急速な採用は、教育的効果を評価するための評価を緊急に必要としてきた。
L2-Benchは、検証済みの「言語学習経験設計者」構築に基礎を置いた、新しい評価ベンチマークである。
本手法は,教育学理論,社会工学的AI評価手法を統合し,階層的な分類法を運用し,専門家が計算したデータセットを構築する。
論文 参考訳（メタデータ） (2026-03-20T16:13:03Z) - From Accuracy to Readiness: Metrics and Benchmarks for Human-AI Decision-Making [0.5153774021264936]
実証的な証拠は、多くの失敗が誤った信頼から生じることを示している。
本稿では,チーム準備を主眼とした人間とAIの意思決定を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-19T13:35:29Z) - Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale [3.0317183198617066]
Sandpiperは、高ボリュームの会話データと人間の質的な専門知識の橋渡しとして設計された混合開始システムである。
本稿では,AIを用いた定性分析における研究効率の向上,レータ間信頼性,研究者信頼度を評価するためのシステムの有効性を評価するためのユーザスタディを提案する。
論文 参考訳（メタデータ） (2026-03-09T14:01:42Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Teaching at Scale: Leveraging AI to Evaluate and Elevate Engineering Education [3.557803321422781]
本稿では,大規模言語モデルを用いた定性的な学生フィードバックのためのスケーラブルなAI支援フレームワークを提案する。
このシステムは階層的な要約、匿名化、例外処理を用いて、オープンなコメントから実行可能なテーマを抽出する。
大規模な工学系大学への展開が成功したことを報告します。
論文 参考訳（メタデータ） (2025-08-01T20:27:40Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Monocle: Hybrid Local-Global In-Context Evaluation for Long-Text Generation with Uncertainty-Based Active Learning [63.531262595858]
分数的・対数的アプローチは、総合的な評価タスクを局所的なスコアリングタスクに分割し、続いて最終的なグローバルアセスメントを行う。
局所的およびグローバルな評価の両面での性能を高めるために,人間のアノテーションを活用するハイブリッド・イン・コンテキスト・ラーニング・アプローチを導入する。
最後に,人間のアノテーションに対するデータサンプルを効率的に選択する不確実性に基づく能動学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-05-26T16:39:41Z) - STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。
STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。
約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
論文 参考訳（メタデータ） (2024-09-09T06:55:37Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。