論文の概要: When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI

• arxiv url: http://arxiv.org/abs/2609.28478v1
• Date: Sat, 01 Aug 2026 14:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.0279
• Title: When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI
• Title（参考訳）: Evaluators Cry Wolf: 教育AIにおけるLCM-as-Judgeの評価から学んだこと
• Abstract要約: MagicSchoolのK-12 AI製品スイートは、何百万もの教師が使用しており、毎月何百万もの教師と学生のメッセージを提供している。 私たちのチームは、学生の安全、トーン、教育的役割、教育的価値、構造的なアウトプット品質の4つの優先順位に沿って、アウトプットを監視します。 プログラムが成熟するにつれて、評価者のフラグを偽陽性が支配するようになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MagicSchool's K-12 AI product suite is used by millions of teachers and serves millions of teacher and student messages each month. Our team monitors output along four priority dimensions--student safety, tone and instructional role, pedagogical value, and structural output quality--and tracks how often it fails on each. As our program matured, false positives came to dominate the evaluators' flags, misdirecting scarce analyst attention away from failures that warrant product change. To address this, we deployed three enhancements--unanimous-fail panels of repeated judge runs, per-evaluator judge-model choices, and softened rubrics--backed by a pair of synthetic datasets: a benchmark that measures how often cases are flagged, and an egregious-failure set that confirms the worst failures are still caught. Across 21 deployed evaluators, final configurations reached a median benchmark activation rate of 0.04% (16 of 21 at or below 0.2%; 8 at 0.00%) and 100% egregious-failure capture across all 21 evaluators. The strategy cuts confirmed false-positive flags by 99% and raises per-flag precision from 0.6% to 49%, while holding egregious-failure capture at 100% and improving it on 8 of 21 evaluators.
• Abstract（参考訳）: MagicSchoolのK-12 AI製品スイートは、何百万もの教師が使用しており、毎月何百万もの教師と学生のメッセージを提供している。 私たちのチームは、学生の安全、トーン、教育的役割、教育的価値、構造的なアウトプット品質の4つの優先順位に沿って、アウトプットを監視します。 プログラムが成熟するにつれて、評価者のフラグを偽陽性が支配するようになった。 これに対処するため、我々は3つの拡張 — 繰り返し行われる審査実行のフェールパネル、評価者ごとの審査モデル選択、および2つの合成データセットが支援する軟化ルーブリック — ケースのフラグ付け頻度を計測するベンチマークと、最悪の障害がまだ捕捉されていることを確認するための厳格な障害セット — をデプロイした。 21個の配備された評価器の合計で、最終構成は0.04%(0.2%以下で21の16)と、21個の評価器全体の100%の排他的欠陥キャプチャに到達した。 この戦略は、偽陽性のフラグを99%削減し、フラグごとの精度を0.6%から49%に引き上げる一方で、過酷な欠陥を100%保持し、21の評価者のうち8人に改善させた。

関連論文リスト

• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• Knowledge Distillation for Automated AI Tutor Evaluation [0.0]
  本稿では,FATE(FLC AI Tutor Evaluator)を紹介する。 BEA 2025 Shared Taskの4つのコア評価トラックと並行して、私たちのモデルは、ミステイク識別、ミステイクロケーション、ガイダンス、アクションビリティを横断する教育能力を評価します。 我々は、ChatGPT、Claude、Gemini、DeepSeekなど、一般的な商用モデルによって生成される命令応答をベンチマークすることで、FATEのユーティリティを自動評価器として示す。
  論文  参考訳（メタデータ） (2026-07-12T08:28:11Z)
• Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation [0.0]
  我々は,4人のフロンティアAI教師が,実行ベースの審査員によって真っ向からランク付けされる,コンペティションThen-Collaborateフレームワークを紹介した。 検証可能な報酬(RLVR)環境を備えた強化学習として、同じ共同カリキュラムを使用することで、学生は改善される。
  論文  参考訳（メタデータ） (2026-07-09T09:00:52Z)
• Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
  本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
  論文  参考訳（メタデータ） (2026-06-30T21:10:42Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Deployment-complete benchmarking [0.0]
  ベンチマークエビデンスがデプロイメントアクションを決定するかどうか、デプロイ完全ベンチマークテスト。 ベンチマークは、各エビデンスファイバー上でアクションが定数であるときのクレームに対して完了する。 混合繊維は配置情報の欠如を露呈し、完成曲線はあいまいさを解決するのに必要な証拠を定量化する。
  論文  参考訳（メタデータ） (2026-05-25T16:15:22Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。