論文の概要: HG-Bench: A Benchmark for Multi-Page Handwritten Answer-Region Grounding in Automated Homework Assessment
- arxiv url: http://arxiv.org/abs/2606.25491v1
- Date: Wed, 24 Jun 2026 07:18:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.257727
- Title: HG-Bench: A Benchmark for Multi-Page Handwritten Answer-Region Grounding in Automated Homework Assessment
- Title（参考訳）: HG-Bench: 自動ホームワーク評価におけるマルチページ手書きアンサー・レジオングラウンドのベンチマーク
- Abstract要約: 本稿では,ページ認識と2レベル回答領域のグラウンドニングの欠落した評価設定について述べる。
HG-Benchは1,489,278イメージのソースプールからキュレートされた500個の人手によるK-12宿題サンプルのベンチマークである。
- 参考スコア（独自算出の注目度）: 38.9745406937448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated homework assessment depends not only on recognizing student answers, but also on accurately locating where each answer and each intermediate reasoning step appears in noisy, multi-page handwritten work. This paper addresses the missing evaluation setting of page-aware, two-level answer-region grounding: given a sequence of homework page images, a model must localize complete answer regions and their ordered step-level subregions. We introduce HG-Bench, a benchmark of 500 human-annotated K-12 homework samples curated from a 1,489,278-image source pool, with question-level and step-level boxes linked by a hierarchical containment constraint. HG-Bench is paired with a page-aware evaluation protocol that separately measures complete-answer localization (FA) and step-level decomposition (FSm), revealing whether models truly ground the spatial structure of student reasoning rather than merely parse visible text. Across frontier closed-source APIs and competitive open-weight VLMs, no zero-shot system exceeds 55.22% on FA or 48.22% on FSm, while a GLM-4.6V 9B reference model fine-tuned on ~10k in-domain examples reaches 74.97/72.26. These results identify step-level handwritten grounding as a concrete capability gap and provide a reproducible benchmark, evaluation protocol, and trained reference point for future work on automated homework assessment.
- Abstract（参考訳）: 自動宿題評価は、学生の回答を認識するだけでなく、ノイズの多い多ページ手書き作業において、各回答と各中間推論ステップがどこに現れるかを正確に特定することにも依存する。
本稿では,ページ認識2段階の解答領域のグラウンド化の欠如について論じる: 一連の宿題ページイメージが与えられた場合,モデルが完全な解答領域とその順序付けられたステップレベルサブリージョンをローカライズする必要がある。
HG-Benchは、1,489,278イメージのソースプールからキュレートされた500個の人手によるK-12の宿題サンプルのベンチマークであり、階層的囲い込み制約によって、質問レベルとステップレベルボックスがリンクされている。
HG-Benchは、ページ認識評価プロトコルと組み合わせて、完全回答ローカライゼーション(FA)とステップレベルの分解(FSm)を別々に測定し、モデルが単に可視テキストを解析するのではなく、学生の推論の空間構造を真に基礎づけているかどうかを明らかにする。
フロンティアのクローズドソースAPIと競合するオープンウェイトVLMでは、ゼロショットシステムはFAでは55.22%、FSmでは48.22%を超えておらず、GLM-4.6V 9B参照モデルは10kのドメインの例で74.97/72.26まで微調整されている。
これらの結果から, ステップレベルの手書きグラウンドを具体的能力ギャップとして認識し, 再現可能なベンチマーク, 評価プロトコル, 訓練された基準点を, 自動宿題評価における今後の課題として提示した。
関連論文リスト
- The Thousand-Graph Hypothesis: A Testable Hypothesis of Task-Conditioned Relation Materialization in Repository-Level Code Reasoning [2.7787094635105185]
モデルに対するリポジトリの知識のトレーニングは費用がかかり、すぐに停滞するが、ローカル検索は散在する要求を見逃す可能性がある。
推論中にタスク条件付き関係を実体化するエンティティのみの外部インタフェースを提案する。
論文 参考訳（メタデータ） (2026-08-27T04:33:48Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization [0.44787896002954924]
広範に使われている5つの視覚言語モデル(VLM)を評価する。
本実験では, エンゲージメント認識のためのゼロショットVLMの3つの主要な故障モードを明らかにした。
論文 参考訳（メタデータ） (2026-06-20T03:53:40Z) - RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents [0.9003228139607131]
文書解析システムは、住宅ローンの引受、財務報告、サプライチェーンのロジスティクス、臨床記録などの規制された領域にますます多く展開されている。
ほとんどの公開ベンチマークは、学術的なレイアウトや合成散文のアダプタを評価し、単一のOCRまたはマークダウンレベルの類似度スコアを報告している。
実際に規制された文書から構築された2トラックのベンチマークであるRealDocBenchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T15:41:34Z) - Knowledge Graphs as the Missing Data Layer for LLM-Based Industrial Asset Operations [0.0]
LLMをベースとした産業資産運用のエージェントは、フラットなドキュメントストアに対する推論において、限られた精度を示す。
AssetOpsBenchは、GPT-4エージェントが139の産業保守シナリオで65%を達成することを証明している。
入力された知識グラフをグラウンド基板として扱い、どのように答えられるかによって各質問をルーティングする。
論文 参考訳（メタデータ） (2026-05-26T11:31:46Z) - DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。
軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。
6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
論文 参考訳（メタデータ） (2026-05-09T11:12:59Z) - PRUE: A Practical Recipe for Field Boundary Segmentation at Scale [50.194423500109025]
本研究では,大域境界線決定のためのセグメント化と地理空間基盤モデル(GFM)を初めて体系的に評価する。
U-Netセマンティックセマンティックセグメンテーションモデルは、パフォーマンスとデプロイメントのメトリクスのスイートにおいて、インスタンスベースとGFMの代替よりも優れています。
我々のアプローチは、モデル設計、トレーニング、推論にまたがる、信頼性があり、スケーラブルで再現可能なフィールド境界記述のための実践的なフレームワークを提供します。
論文 参考訳（メタデータ） (2026-03-28T02:47:46Z) - Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。
我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。
Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
論文 参考訳（メタデータ） (2025-10-30T07:29:14Z) - Ground-V: Teaching VLMs to Ground Complex Instructions in Pixels [30.722073025794025]
テキストインストラクションに基づくグラウンドリングにおける5つの重要な現実的課題に対処する。
提案手法は,既存の画素レベルのアノテーションに関連付けられた高品質な命令応答ペアを生成する。
実験結果から, グラウンド-Vで訓練したモデルでは, 多様なグラウンドタスクにまたがる大幅な改善が見られた。
論文 参考訳（メタデータ） (2025-05-20T00:37:19Z) - A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。
自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。
意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-13T01:12:35Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。