論文の概要: Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes
- arxiv url: http://arxiv.org/abs/2608.20521v1
- Date: Thu, 20 Aug 2026 19:34:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.168755
- Title: Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes
- Title（参考訳）: 手書き物理学評価の大規模AIグラフ作成 - スコアアグリーメントとオリンピックチーム選択結果
- Abstract要約: GPT-5.5-based grading was evaluation on 10364 scanned pages from 520 handwriting submits。
各申請は、公式のルーリックを使用してAIによって2度評価された。
グラデーションの間、AIは公式な人間マークやAI--人間の比較を見なかった。
- 参考スコア（独自算出の注目度）: 0.3664600242783913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal AI can read handwritten physics solutions, but high-stakes grading requires agreement with official scores and outcomes. This study evaluated GPT-5.5-based grading on 10364 scanned pages from 520 handwritten submissions by 416 unique candidates or students across three assessments: a national Physics Olympiad theory examination, the final Olympiad selection camp with theory and experiment components, and a university quantum-mechanics examination. Each submission was graded twice by AI using the official rubrics. The second round used revised page-by-page and evidence-location instructions developed after first-round disagreement analysis. During grading, AI did not see official human marks or AI--human comparisons. Total-score correlations with official marks were high (0.91--0.97). For the final Olympiad selection, AI recovered the same five-student team as official grading. The second round improved aggregate question-part agreement, especially where first-round disagreements were larger. The main difficulty remained exact partial-credit grading, especially in experimental work. Reliable AI grading therefore depends on detailed rubrics and should be used as a second reader or audit tool under examiner control.
- Abstract（参考訳）: マルチモーダルAIは手書きの物理解を読むことができるが、高い評価は公式のスコアや結果と一致する必要がある。
本研究は,国立物理オリンピック理論試験,オリンピアド最終選抜キャンプと理論と実験成分,大学量子力学試験の3つの評価から,520名の受験者や学生による10364ページのGPT-5.5による評価を行った。
各申請は、公式のルーリックを使用してAIによって2度評価された。
第2ラウンドでは、改訂ページ・バイ・ページと、第1ラウンドの不一致分析後に開発されたエビデンス・ロケーション・インストラクションを使用した。
グラデーションの間、AIは公式な人間マークやAI--人間の比較を見なかった。
公式マークとの総スコア相関は0.91--0.97であった。
Olympiadの最終選考で、AIは公式グレーディングと同じ5人の学生チームを取り戻した。
第2ラウンドでは、特に第1ラウンドの意見の相違が大きくなるような、総合的な質問部契約が改善された。
主な難易度は、特に実験において、正確な部分クレディットグレーディングにとどまった。
したがって、信頼性の高いAIグレーディングは詳細なルーリックに依存しており、検査官のコントロールの下で第2のリーダまたは監査ツールとして使用されるべきである。
関連論文リスト
- How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review [34.868311584135775]
報告された科学的内容が保存されている場合、修辞的選択がAIレビューの判断をどのように形成するかを検討する。
我々は120の匿名ICLR 2026からの4,200のフルペーパー原稿の制御コーパスを構築した。
論文 参考訳（メタデータ） (2026-08-10T00:42:51Z) - How Closely Do LLM Reviews Align with Human Peer Review? [0.0]
大規模言語モデル(LLM)は、科学的なレビューを生成するためにますます使われている。
OpenAI GPT-5.4, Google Gemini 3.1 Pro Preview, Anthropic Claude Opus 4.6 のレビューと,300のトピックマッチング ICLR 2026 の提出に関する最終決定を比較した。
本研究は,広義およびきめ細かな決定カテゴリとの整合性,推薦スケールの差異,識別された弱点における主題的合意の3つの相補的次元の相互比較分析に寄与する。
論文 参考訳（メタデータ） (2026-08-04T13:39:36Z) - Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community [33.39468805524881]
AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。
これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。
以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
論文 参考訳（メタデータ） (2026-06-08T20:38:06Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - HiPhO: How Far Are (M)LLMs from Humans in the Latest High School Physics Olympiad Benchmark? [53.76627321546095]
HiPhOは、人間による評価を備えた、高校の物理学オリンピアードのための最初のベンチマークである。
2024年から2025年にかけて13回のオリンピアード試験をコンパイルし、国際大会と地域競技の両方にまたがる。
我々は、(M)LLMとヒトの競技者との直接比較を可能にするため、公式メダル閾値に基づくモデルに金、銀、銅のメダルを割り当てる。
論文 参考訳（メタデータ） (2025-09-09T16:24:51Z) - From Intuition to Understanding: Using AI Peers to Overcome Physics Misconceptions [8.60890432697274]
我々は、学生がニュートン力学の概念に関する基本的な物理学的誤解を正すのに役立つAI「ピア」を設計した。
165人の学生によるランダム化対照試験では、AI Peerと標的となる対話を行った学生はテスト後のスコアを平均10.5ポイント上回った。
論文 参考訳（メタデータ） (2025-04-01T04:09:13Z) - Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。
既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。
実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
論文 参考訳（メタデータ） (2024-10-10T14:39:33Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。
最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。
GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
論文 参考訳（メタデータ） (2024-02-21T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。