論文の概要: An Audit of Measurement Quality and Answer Bias in a Large Classroom-Poll Corpus

• arxiv url: http://arxiv.org/abs/2609.38959v1
• Date: Wed, 30 Sep 2026 04:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.184317
• Title: An Audit of Measurement Quality and Answer Bias in a Large Classroom-Poll Corpus
• Title（参考訳）: 大規模教室コーパスにおける測定品質と回答バイアスの検討
• Abstract要約: 47セッション中604項目が340,668回回答し,2,807人の学習者が回答した。 講義書から正しい回答が得られた539項目について,すべての項目と学生を共通の尺度に配置する。 世論調査では, ほぼ4分の1の項目が, より弱い学生とほとんど区別されないほど, 厳密で容易な適度な精度(正解率約0.60)の尺度が得られた。
• 参考スコア（独自算出の注目度）: 2.1494596588623134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time classroom polls are widely used and increasingly generated with automated assistance, yet the questions themselves are rarely evaluated as measurements. We audit a large corpus of authentic classroom polls, 604 items across 47 sessions answered 340,668 times by 2,807 learners, as a measurement instrument. For the 539 items whose correct answer could be established and verified from the lecture transcript, we place every item and every student on a common scale using item response theory and analyse the answer structure of the True/False items. Two findings emerge. First, the polls form a coherent but easy scale of moderate precision (marginal reliability about 0.60), on which roughly a quarter of items barely separate stronger from weaker students. Second, students show a robust tendency to answer True, present at the individual level (77% of students lean True), which meets a milder tendency for items to be keyed False; as a result answer direction predicts difficulty, False-keyed items being about thirteen points harder, and the effect survives controls for item content and for selective answering. Both findings rest on signals a polling system already records, so the same checks can be run as items are generated, before they reach students.
• Abstract（参考訳）: リアルタイムの教室のポーリングは、自動化された支援によって広く使われ、ますます生成されるが、質問そのものが測定として評価されることは滅多にない。 47セッション中604項目が,2,807人の学習者によって340,668回回答された。 講義書き起こしから正しい回答が得られた539項目について,項目応答理論を用いて各項目と各学生を共通尺度に配置し,真偽項目の回答構造を分析した。 2つの発見がある。 第一に、世論調査は厳密だが容易な適度な精度の尺度(火星の信頼性は約0.60)を形成しており、その上で約4分の1の項目は弱い学生とほとんど分離していない。 第2に, 学生の77%は, 個別レベルに存在する正解傾向が強く, 解答方向が難易度を予測し, 解答は13点程度難しく, 解答は項目内容や選択解答の制御を継続する。 どちらの発見も、既に記録されているポーリングシステムのシグナルに依存しているため、学生に届く前に、アイテムが生成されると、同じチェックを実行することができる。

関連論文リスト

• Insights on Student Learning from Live Classroom Polls: More Than Right or Wrong [2.1494596588623134]
  ライブ教室の投票は通常、回答キーを通じて、参加数と正しさのカウントとして読み取られる。 しかし、同じレコードは、どのキーが固定されるよりも早く保持される。 約2,400人の学習者の47回のセッションで,603の投票で340,668件の応募をライブ配信した。
  論文  参考訳（メタデータ） (2026-09-30T04:41:05Z)
• Characterizing Questioning Patterns and Student Engagement Through Contextual Analysis of Real-Time Classroom Interactions [2.1494596588623134]
  リアルタイムの教室のポーリングは、今では日常的に行われているが、そのデータは通常、狭めに読まれる。 本研究は, 講義の書き起こしに対して, 質問紙を読むことで, 回答者の回答と指導機能を判断できるかどうかを問うものである。 39日間にわたる47回のライブセッションの自然主義コーパスを解析し,604質問と2,807学習者340,668回答を得た。
  論文  参考訳（メタデータ） (2026-09-30T03:55:08Z)
• GradeTrap: Authority Cues in Images Shift VLM Judgments Despite Explicit Instructions to Ignore Them [0.0]
  そこで我々は,2つの社会的手がかりを直接衝突させる制御された評価手法であるGradeTrapを紹介した。 学生の回答はサイコファンティックな合意を惹きつけるべきであり、友人、教師、または公式の回答キーに起因する矛盾した回答は権威に基づく推論を引き付けるべきである。 我々は60の合成現実世界のトレードオフシナリオでモデルをテストする。
  論文  参考訳（メタデータ） (2026-09-05T12:30:39Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Towards Fully Automated Exam Grading: Fairness-Aware Recognition of Handwritten Answers with Foundation Models [0.0]
  汎用視覚言語基盤モデル(VLM)は、ピクセルテンプレートにマッチするのではなく、ページを解釈する。 61の匿名試験(3141の回答位置)のベンチマークでは、最良のモデルは98.4%の精度に達する。 したがって、完全に自動化された公正な試験は、スケールで評価される。
  論文  参考訳（メタデータ） (2026-06-09T22:12:43Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• Catching The Correct Answer Trap: Characterising AI Tutor Blind Spots When Analysing Student Reasoning [2.6352293843915606]
  我々は,正解トラップ(CAT: correct answer trap)と呼ばれる障害モードについて検討する。 Eedi数学プラットフォームから実際の学生の反応を分析すると、これらの失敗の71%が2つの質問タイプに集中していることが分かる。
  論文  参考訳（メタデータ） (2026-04-20T10:53:48Z)
• Learning to Make MISTAKEs: Modeling Incorrect Student Thinking And Key Errors [58.65143578052761]
  本稿では,推論誤りの高品質な合成例を構成する新しい手法であるMISTAKEを提案する。 3つの教育課題において,MISTAKEを評価した結果,(1)誤答のシミュレーションにおいて高い精度が得られた。
  論文  参考訳（メタデータ） (2025-10-13T15:10:38Z)
• Continuous Examination by Automatic Quiz Assessment Using Spiral Codes and Image Processing [69.35569554213679]
  紙のキズは安価で、教室のキャンパス教育の範囲内にある。 クイズの修正は かなりの障害だ 本稿では,新しい画像処理技術によって問題を緩和することを提案する。
  論文  参考訳（メタデータ） (2022-01-26T22:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。