論文の概要: EDU-Jev Training System-One Decision Models for Education
- arxiv url: http://arxiv.org/abs/2610.41079v1
- Date: Thu, 29 Oct 2026 23:48:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.556955
- Title: EDU-Jev Training System-One Decision Models for Education
- Title(参考訳): EDU-Jevトレーニングシステム-教育のための1つの決定モデル
- Abstract要約: 本稿では, 0.8B, 2B, 4Bパラメータの単一パス(システムワン)決定モデルについて述べる。
ポインタヘッドは各オプションのマーカーを取得し、予測が許容される選択に制限されることを保証する。
12の教育ベンチマークで、EDU-Jev 4Bの平均精度は67.6%である。
- 参考スコア(独自算出の注目度): 15.584574870107337
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Many automated decisions in education involve choosing from a fixed set of options: assigning a rubric score, checking whether an answer meets a marking criterion, or identifying the first wrong step in a solution. Generative language models are increasingly used to make these decisions, but their responses require parsing, longer outputs increase inference costs, and confidence expressed in words does not necessarily reflect the probability of being correct. We present EDU-Jev, a family of single-pass ("System One") decision models at 0.8B, 2B and 4B parameters. Given an assessment context and a question with predefined answer options, the model returns a probability distribution over those options without generating text. A pointer head scores a marker for each option, ensuring the predictions are restricted to the allowed choices. Training uses a single supervised stage with soft cross-entropy against the available target label distributions; calibration is assessed empirically. Across twelve education benchmarks, EDU-Jev 4B achieves an average accuracy of 67.6%, exceeding the strongest of five commercial decision APIs by 9.4 percentage points and the best open 4B decision model by 18.7 points. On four cross-domain education sets, it matches the strongest API, which remains ahead on general decision-making and reasoning tasks. The 2B model processes about 150 decisions per second on a single H100 GPU.
- Abstract(参考訳): 教育における多くの自動決定には、不規則なスコアの割り当て、回答がマーキング基準を満たしているかどうかの確認、ソリューションの最初の間違ったステップの特定など、一定の選択肢のセットを選択することが含まれる。
生成言語モデルはこれらの決定を下すために使われることが多いが、その応答には解析が必要であり、より長いアウトプットは推論コストを増大させ、単語で表現された自信は必ずしも正しい確率を反映しない。
EDU-Jevは, 0.8B, 2B, 4Bパラメータの単一パス(システムワン)決定モデルである。
評価コンテキストと事前定義された回答オプションのある質問が与えられた場合、モデルはテキストを生成することなく、それらのオプションに対する確率分布を返す。
ポインタヘッドは各オプションのマーカーを取得し、予測が許容される選択に制限されることを保証する。
トレーニングは、利用可能なターゲットラベル分布に対してソフトなクロスエントロピーを持つ単一の教師付きステージを使用し、キャリブレーションを経験的に評価する。
12の教育ベンチマークで、EDU-Jev 4Bは平均精度67.6%に達し、5つの商用決定APIの9.4ポイント、最良のオープン4B決定モデル18.7ポイントを上回っている。
4つのクロスドメイン教育セットにおいて、それは最強のAPIと一致し、一般的な意思決定と推論タスクに先んじている。
2Bモデルは、1つのH100 GPUで毎秒約150の意思決定を処理する。
関連論文リスト
- Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making [1.8430422880689117]
中国語決定モデルのファミリーである中国語決定について述べる。
各質問は、共有された命令と候補のプロンプトにコンパイルされる。
単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
論文 参考訳(メタデータ) (2026-10-16T09:08:32Z) - StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions [22.939061891515767]
本稿では,効率の良いシングルパス予測と適応的・信頼誘導推論を組み合わせた0.8Bから27Bパラメータの意思決定モデルを提案する。
Instantモデルは、フルアテンション層における双方向の注意を使って、単一パスの推論を維持しながら、決定精度を向上させる。
AutoThinkモデルは、不確実な決定に対する明示的な推論を呼び起こし、自信のあるケースに直接答える。
論文 参考訳(メタデータ) (2026-10-12T19:05:56Z) - Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。
まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。
推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
論文 参考訳(メタデータ) (2026-10-11T10:04:59Z) - Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。
タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。
その結果、自動決定ゲートの条件依存ルールが得られる。
論文 参考訳(メタデータ) (2026-09-29T19:57:59Z) - Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。
自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。
選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
論文 参考訳(メタデータ) (2026-09-28T05:07:24Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳(メタデータ) (2026-08-30T16:35:22Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics [86.49781345669436]
言語モデルは事前学習からかなりの評価知識を符号化する。
現在のポストトレーニング手法は、報酬信号を生成するために外部の監督に依存している。
EVOLMは、モデルの評価能力を明示的な識別的ルーブリックに構造化する手法である。
論文 参考訳(メタデータ) (2026-05-05T15:31:00Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳(メタデータ) (2021-07-12T20:17:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。