論文の概要: Evaluating and Benchmarking the System One Model Jev
- arxiv url: http://arxiv.org/abs/2609.37647v1
- Date: Tue, 29 Sep 2026 14:15:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.607235
- Title: Evaluating and Benchmarking the System One Model Jev
- Title（参考訳）: System One Model Jevの評価とベンチマーク
- Abstract要約: Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
- 参考スコア（独自算出の注目度）: 1.579162290333307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Jev is a commercial System One model from TypeSafe AI that does not generate text: given a state and typed questions, it returns a choice from fixed options, a position on a rubric, or the probability that a statement is true, with probabilities the vendor describes as calibrated. Such models target small decisions in information access pipelines, such as routing queries, checking grounding, moderating content, or rating against a rubric. We evaluate Jev (jev-1.13.0) zero-shot on 37 datasets spanning classification, routing, natural language inference, reading comprehension, commonsense reasoning, moderation, legal clause analysis and rubric scoring, with one frozen template per dataset and full evaluation splits: 346,009 requests for under USD 10. For reference, we score Qwen3.8-27B and Gemma-4-E4B on identical requests via their exact next-token probabilities over the options. Jev reaches 95-99% accuracy on IMDB, SST-2, HellaSwag and ARC and 86.7% on Belebele across 122 languages. It beats Qwen on 27 of 37 datasets, with none of Qwen's nine leads outside the bootstrap intervals, and Gemma on all 37. All three models degrade on low-resource languages, fine-grained or noisy labels, and rubric-based quality judgments. Jev's choice probabilities are well calibrated and support selective prediction. Binary probabilities rank well but are poorly placed relative to a fixed 0.5 threshold; thresholds tuned on training data raise micro-F1 on UNFAIR-ToS from 0.50 to 0.75. Jev answers MMLU's calculation-heavy questions more accurately than other MMLU questions (94% vs. 91%), whereas both open models, and all three on C-Eval, find them harder. Rotating the options leaves Jev's accuracy unchanged and withholding the question drops it to near chance, ruling out shallow memorization but not memorized question-answer pairs. We release the code, harness and all raw responses.
- Abstract（参考訳）: Jevは、TypeSafe AIの商用System Oneモデルで、テキストを生成しない: 状態と型付き質問が与えられたら、固定されたオプション、ルーリック上の位置、あるいはステートメントが真実である確率、ベンダーがキャリブレーションとして記述する確率から選択を返す。
このようなモデルは、ルーティングクエリ、グラウンドのチェック、コンテンツのモデレート、ルーリックに対するレーティングなど、情報アクセスパイプラインの小さな決定をターゲットとしている。
Jev (jev-1.13.0) ゼロショットを分類,ルーティング,自然言語推論,読解理解,コモンセンス推論,モデレーション,法定節解析,ルーリックスコアといった37のデータセットで評価し,データセット毎に1つの凍結テンプレートと完全な評価分割(USD 10。
参考までに、同じ要求に対してQwen3.8-27BとGemma-4-E4Bを、オプションよりも正確に次の確率でスコア付けします。
JevはIMDB、SST-2、HellaSwag、ARCで95-99%、Belebeleでは86.7%に達している。
これは37のデータセットのうち27でQwenを破り、ブートストラップ間隔外ではQwenの9つのリードは存在せず、Gemmaは37のすべてである。
3つのモデルはいずれも低リソース言語、きめ細かいラベル、ノイズの多いラベル、ルーブリックベースの品質判断で分解される。
Jevの選択確率はよく調整され、選択予測をサポートする。
バイナリ確率は良くランク付けされているが、0.5の閾値に対して低い位置にあり、トレーニングデータに基づいて調整された閾値は、UNFAIR-ToSで0.50から0.75までマイクロF1を上昇させる。
Jev氏はMMLUの計算量の多い質問に、他のMMLUの質問よりも正確に答える(94%対91%)。
オプションを回転させると、Jevの正確さは変わらないままで、疑問を抱くことは、浅い暗記を除外するが、暗記された質問と回答のペアを除外する。
コード、ハーネス、すべての生のレスポンスをリリースします。
関連論文リスト
- Decision Readouts for Text-Mediated Video Anomaly Detection: An Exploratory Evaluation of Jev and Qwen [9.92799001840128]
我々は,UCF-CrimeとXD-Violenceの40本の動画と400本のターゲットアンカーのスパース開発サンプルを用いて,Jev型判定と3つのQwen読み出し結果を評価した。
XDキャプションでは、Jev Noulは平均精度を75.99%、Qwen生成確率は48.47%、ローカルな順序的予想が57.81%に達した。
論文 参考訳（メタデータ） (2026-09-28T02:58:55Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - LAVOIR: Teaching a Single-Pass Decision Encoder When and What to Ask with Amortized Value of Information [0.0]
LAVOIRでは,解答オプションの隣の入力に欠落した情報(スロット)の候補を配置する。
見えるスキーマの決定はベイズ天井と統計的に区別できない。
ABCDの実際の会話では、LAVOIRが要求する8.3ポイントの精度が向上し、そうでなければそのままにしておく。
論文 参考訳（メタデータ） (2026-09-25T02:31:02Z) - JevOut: Natural Context Can Flip Decision Models [3.2875856796061513]
コンテキストに自然に適合する短い追加は、そうでなければ正しい決定をリダイレクトできることに気付きました。
これらの結果は、現在の決定モデルにおける明らかな脆弱性を明らかにします。
論文 参考訳（メタデータ） (2026-09-24T17:57:07Z) - Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。
3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。
選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。
候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
論文 参考訳（メタデータ） (2026-09-09T08:29:00Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Reliable Visual Question Answering: Abstain Rather Than Answer
Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。
私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。
最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。
これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文 参考訳（メタデータ） (2022-04-28T16:51:27Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。