論文の概要: TeachGrade: Training-Free Short Answer Scoring with Teacher Evidence

• arxiv url: http://arxiv.org/abs/2610.14900v1
• Date: Sat, 10 Oct 2026 13:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 11:09:18.192412
• Title: TeachGrade: Training-Free Short Answer Scoring with Teacher Evidence
• Title（参考訳）: TeachGrade:教師のエビデンスによる無トレーニング短解答
• Abstract要約: TeachGradeは、教師級の例を使ったトレーニング不要のフレームワークである。 12タスクにわたる3,829のSAS-Bench回答では、公式なマクロ協調一貫性スコア(CCS)がネイティブの67.99から81.32(+13.33ポイント)に上昇した。
• 参考スコア（独自算出の注目度）: 17.711751115047292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-subject, multi-step scoring requires consistent partial credit across grading conventions. We introduce TeachGrade, a training-free framework using teacher-graded examples. The Task Adapt module builds two frozen memories: Skill captures contextual teacher preferences beyond the rubric; CaseBank supplies local evidence. PreJudge provides retrieval cues; FinalJudge regrades the answer without preliminary scores. On 3,829 SAS-Bench answers across 12 tasks, official macro collaborative consistency score (CCS) rises from Native's 67.99 to 81.32 (+13.33 points), and pooled step exact match from 54.85% to 62.71%. Macro quadratic weighted kappa (QWK) reaches 84.71, exceeding Native, OpenJudge, ProofGrader, and Trojsten by 9.52, 3.50, 11.37, and 17.43 points, respectively, and leading on 8 tasks. Local Qwen3.8-27B gains 8.83 CCS and 4.08 QWK points, improving CCS on all 12 tasks. QWK gains over Native span 6.38--14.65 points on Portuguese automatic essay scoring (AES) and 2.16--2.24 on ASAP-SAS across label views, with lower mean absolute error. These results support reuse across languages, response formats, and backbones without weight updates.
• Abstract（参考訳）: マルチオブジェクト、マルチステップのスコアリングには、グレーディング規約間で一貫した部分的な信用が必要である。 我々はTeachGradeを紹介した。 Task Adaptモジュールは2つの凍結した記憶を構築している。 PreJudgeは検索キューを提供し、FinalJudgeは予備スコアなしで回答をリグレードする。 12タスクにわたる3,829のSAS-Bench回答では、公式のマクロ協調一貫性スコア(CCS)がネイティブの67.99点から81.32点(+13.33点)に上昇し、ステップの正確なマッチは54.85%から62.71%になった。 マクロ二次重み付きカッパ(QWK)は、ネイティブ、OpenJudge、ProofGrader、Trojstenを9.52、3.50、11.37、17.43で上回り、8つのタスクをリードする。 ローカルQwen3.8-27Bは8.83のCSと4.08のQWKポイントを獲得し、12タスクすべてでCSを改善した。 QWKは、ポルトガル語の自動エッセイスコア(AES)で6.38-14.65点、ラベルビューでASAP-SASで2.16--2.24点、平均絶対誤差が低い。 これらの結果は、言語間の再利用、応答フォーマット、およびウェイト更新なしでバックボーンをサポートする。

関連論文リスト

• A Sovereign, Indic-First, Reasoning Model [0.0]
  Gnani-Evon-v3.3-30B-A3B (Gnani-Evon-v3.3-30B-A3B) は、英語とインドの8つの言語における推論、指示、ツール使用のための長文ハイブリッド型Mamba-Transformerモデルである。 52層のバックボーンを保持し、語彙、トレーニングデータ、訓練後の目的を変更する。
  論文  参考訳（メタデータ） (2026-10-11T05:52:29Z)
• Reward-Aligned Distillation [16.014147554503495]
  Reward-Aligned Distillation weights signals based on predict effect on the post-update reward。 RADは6つの競合候補ベンチマークの平均精度を最強のベースラインよりも向上させる。 単純化されたRAD-Simpleは、同じトレーニングとレスポンスの予算で同等の計算精度を達成している。
  論文  参考訳（メタデータ） (2026-10-10T04:43:04Z)
• Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
  残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。 さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。 Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
  論文  参考訳（メタデータ） (2026-10-08T08:52:55Z)
• FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
  オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
  論文  参考訳（メタデータ） (2026-08-20T21:14:52Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation [7.296659715681798]
  検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。 SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
  論文  参考訳（メタデータ） (2026-08-10T16:43:18Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Few-shot Reranking for Multi-hop QA via Language Model Prompting [56.454088569241534]
  オープンドメイン質問を用いたマルチホップQAにおける数点のリランクについて検討した。 本稿では,マルチホップパスの再ランク付けを促す大規模言語モデルに依存するPromptRankを提案する。 PromptRankは、HotpotQA上で128のトレーニング例で強力な検索性能を得る。
  論文  参考訳（メタデータ） (2022-05-25T10:45:55Z)
• Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
  SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T10:47:30Z)
• MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics [55.85042753772513]
  そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。 S 我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。 最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
  論文  参考訳（メタデータ） (2020-10-07T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。