論文の概要: The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale

• arxiv url: http://arxiv.org/abs/2609.26087v1
• Date: Wed, 26 Aug 2026 08:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.871077
• Title: The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale
• Title（参考訳）: アーキテクト, 管理者, 裁判官: スケールにおける基準付き評価項目のクローズド・ループ生成
• Abstract要約: CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
• 参考スコア（独自算出の注目度）: 13.85834524293015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present CLAIM, a production pipeline for K-12 assessment-item generation coupling a two-stage generate-then-attack protocol (the model drafts as a "curriculum architect", then re-enters the same conversation as a hostile adversarial reviewer), bi-directional few-shot conditioning on accepted and rejected items, the latter carrying the evaluator's diagnosis, and a knowledge dictionary of 44,844 error-correction rules mined from that feedback and retrieved per standard and item type. Across 43,227 scored items over 755 Common Core ELA standards, three item types, and ten LLMs, the pipeline reaches a 97.8% expert-evaluator pass rate on a 9,074-item production run. We then ask what that rate certifies. Re-scoring a stratified sample with three judges from other vendors, blind to the deployed verdict, reproduces the format ordering under every judge and recovers a larger open-set deficit than the deployed evaluator does; but agreement on the accept/reject binary is weak at production prevalence (kappa about 0.13), and the judges agree with each other no better. The level is therefore judge-relative, and with no student-response data our quality evidence is evaluator-judged throughout. The corpus also exposes a robust asymmetry. Multiple-choice and multiple-select generation saturate at 98% or above for both frontier models under a dozen static rules, whereas fill-in-the-blank generation is capability-tiered (82.8-96.7% across five models under a matched rule set, standards, and judge) and plateaus under prompt-only optimization, with error mass shifting between answer-key over-inclusion and omission as rules accumulate. We analyze this as open-set boundary determination, a task autoregressive decoders are structurally ill-equipped to solve, and show the asymmetry recurring when the evaluator itself is distilled: fail-recall rises from 8% to 63% while F1 saturates at 0.25.
• Abstract（参考訳）: CLAIMは,2段階のジェネレーション・テム・アタック・プロトコルを結合したK-12アセスメント・テム生成のための生産パイプライン(「カリキュラム・アーキテクト」としてモデル草案を作成した後,敵対的相手のレビュアーとして同一の会話を再入力する),承認された項目と拒否された項目に対する双方向の複数ショット条件,評価器の診断を担い,そのフィードバックから抽出された44,844の誤り訂正規則の知識辞書を提示する。 43,227点中755点のCommon Core ELA標準、3点のアイテムタイプ、10点のLSMを達成し、9,074イテムの生産で97.8%のエキスパート評価パスレートに達した。 そして、そのレートが何であるかを尋ねます。 他のベンダーからの3人の審査員による階層化されたサンプルを再描画し、デプロイされた評定書に盲目となり、各審査員の下で順序付けされたフォーマットを再現し、デプロイされた評価者よりも大きなオープンセットの欠陥を回復するが、アクセプション/リジェクトのバイナリに関する合意は生産の頻度で弱く(カッパ約0.13)、審査員は互いに良く一致しない。 したがって、レベルは判断に関連があり、学生の反応データがないため、我々の品質証拠は評価者によって評価される。 コーパスはまた、ロバストな非対称性を露呈する。 複数選択および複数選択生成は、12の静的ルールの下でフロンティアモデルの98%以上で飽和するのに対し、フィイン・ザ・ブランク生成は5つのモデルで82.8-96.7%、即時のみの最適化の下でプラトーは82.8-96.7%である。 我々はこれをオープンセット境界決定として解析し、タスク自己回帰デコーダは構造的に不整合であり、評価器自体が蒸留されると非対称性が繰り返されることを示す。

関連論文リスト

• CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
  CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。 IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
  論文  参考訳（メタデータ） (2026-09-09T06:08:02Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges [2.8523456804049885]
  安全審査員は、進化する基準に対してモデルアウトプットを評価するためにますます配置される。 最近のメタ評価研究は、プロンプトとルーブリックの変動下では脆く保たれていることを示している。 本稿では,インスタンス条件の動的ルーブリックと,信頼性と表現性を備えたカリキュラムを組み合わせたトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-08T08:02:57Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study [0.0]
  HOPMは階層的なオンラインプロンプト突然変異フレームワークである。 本論文は、制御設定、サンプルサイズ、信頼区間、ペアテスト、プロンプトトークンカテゴリ、擬似コード、スキーマ、ルーリック、ガードレール分類、構築された例を含む。
  論文  参考訳（メタデータ） (2026-05-31T22:17:44Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
  本稿では,視覚的審美性ベンチマーク (VAB) を提案する。 VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。 最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
  論文  参考訳（メタデータ） (2026-05-12T19:33:28Z)
• AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
  AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである 宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。 80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
  論文  参考訳（メタデータ） (2026-05-06T08:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。