論文の概要: Small Heads, Strong Decisions: A Controlled Study of Typed-Decision Models
- arxiv url: http://arxiv.org/abs/2611.15592v2
- Date: Fri, 13 Nov 2026 08:48:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.231025
- Title: Small Heads, Strong Decisions: A Controlled Study of Typed-Decision Models
- Title(参考訳): 小さな頭部, 強い決定:タイプ決定モデルの制御された研究
- Abstract要約: 5つのリードアウトを再実装し、それらをすべてひとつのプロトコルでトレーニングします。
頭部の複雑さは正確さには影響しない。
テキストのすべての質問を1つのプロンプトから読み取ることは、正確さで1つのプロンプトと一致する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In September 2026, TypeSafe announced Jev as the first model in its System One category: unstructured state goes in, and typed, calibrated decisions that software can use directly come out. Jev's architecture and training data are unpublished, but many open typed-decision models have followed, including Nimble, the Decision 1.0-3.0 family and Clef. They answer structured questions about a piece of text, such as a yes/no check, a choice among labelled options or a graded score, by reading the text with a language model and scoring the options with a small readout. Each pairs a different readout with a different backbone, training mix and recipe, so it is unclear which design choices matter. We re-implement five readouts and train all of them under one protocol: the same backbone, the same 15 public English training sources, the same recipe with a per-head learning-rate sweep, and the same seed. Our experiments demonstrate that: The complexity of the head does not affect accuracy: on Qwen3-0.6B every readout reaches 81.3-82.0% in-domain accuracy, and a 0.5M-parameter cosine head, which scores each option by its cosine similarity to the question, matches the 27M-parameter joint schema head adapted from Clef in-domain at half its inference time. Reading all of a text's questions from one prompt also matches one prompt per question in accuracy, with 1.6 times faster inference and 2.1-2.5 times faster training on one H100. The backbone's size matters more than either choice: moving from Qwen3-0.6B to Qwen3-4B adds 4 points in-domain and 11 points on held-out sources, while the base, instruct and thinking checkpoints of the same model tie. We recommend spending effort on the backbone and keeping the head minimal.
- Abstract(参考訳): 2026年9月、TypeSafeはJevをSystem Oneカテゴリの最初のモデルとして発表した。
Jevのアーキテクチャとトレーニングデータは公表されていないが、Nimble、Decision 1.0-3.0ファミリ、Clefなど、多くのオープン型決定モデルがフォローされている。
言語モデルでテキストを読み、小さな読み出しでオプションを採点することで、イエス/ノーチェック、ラベル付きオプションの選択、グレードスコアなどのテキストに関する構造化された質問に答える。
各ペアは異なるバックボーン、トレーニングミックス、レシピを備えた異なる読み出しを行うため、どの設計選択が重要かは明らかではない。
5つのリードアウトを再実装し、同じバックボーン、同じ15の公開英語トレーニングソース、同じレシピと1回の学習率のスイープ、同じシードという、ひとつのプロトコルでこれらすべてをトレーニングします。
Qwen3-0.6Bでは、全ての読み出しが81.3-82.0%のドメイン内精度に達し、0.5Mパラメータのコサインヘッドは、クリーフ内ドメインから適応された27Mパラメータのジョイントスキーマヘッドと半分の推論時間で一致する。
テキストのすべての質問を1つのプロンプトから読み取ると、1つのH100の1.6倍の速さと2.1-2.5倍の速さで、正確さで1つのプロンプトにマッチする。
Qwen3-0.6BからQwen3-4Bに移行すると、ドメイン内の4点とホールドアウトソース上の11点が加算され、ベース、インストラクション、思考チェックポイントは同じモデルネクタイのベースとなる。
バックボーンに費やし、頭は最小限にしておくことをお勧めします。
関連論文リスト
- MuninAI: A Self-Hosted Agentic Framework for Independent Research Groups [1.390808167453179]
Muninは、自己ホスト型の科学アシスタントのためのオープンソースのフレームワークである。
それは、どのオープンウェイトモデルでも、エージェントハーネスで使えるものをラップする。
199のペア文学の質問では、ハーネスはベースモデルの精度を2倍以上にします。
論文 参考訳(メタデータ) (2026-10-16T13:56:37Z) - MJev-Spatial: System One Spatial Intelligence via Native Attention Matching [19.6013702995563]
MJev-Spatialは3種類の空間理解タスクに対処するシステム1のマルチモーダル決定モデルである。
MJev-Spatialは各候補をクラスとして扱い、バックボーンの事前訓練されたクエリとキープロジェクションを使用してスコア付けする。
Qwen3.5-4Bをベースとして12.3Mの質問応答ペアで訓練され、MJev-Spatialは7つのテストされた自己回帰モデルで最高スコア(65.64%)を記録した。
論文 参考訳(メタデータ) (2026-10-15T17:37:50Z) - Verdict: Encode Once, Decide Many [0.0]
オープンなエンコーダであるVerdict-MQを紹介します。
タイプ決定ベンチマークでは、395M Verdict-MQがリリースされた421M Layaのスペシャリストよりも、ソフトゴールドのラベルとかなりよく一致している。
論文 参考訳(メタデータ) (2026-10-14T18:27:25Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳(メタデータ) (2026-09-25T11:32:19Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Cold-Start Personalization via Training-Free Priors from Structured World Models [90.29121836614081]
コールドスタートのパーソナライズには、ユーザ固有の履歴データが利用できない場合、インタラクションを通じてユーザの好みを推測する必要がある。
本稿では,オフライン構造学習とオンラインベイズ推論へのコールドスタート推論の分解を提案する。
生成した応答とユーザの指定した好みの80.8%を、RLでは68.5%、インタラクションでは3.5倍に調整します。
論文 参考訳(メタデータ) (2026-02-16T18:52:13Z) - Discord Questions: A Computational Approach To Diversity Analysis in
News Coverage [84.55145223950427]
本稿では,情報源の違いを識別し,ニュース報道の多様性を理解する上で,読者を支援する新しい枠組みを提案する。
このフレームワークはDiscord Questionsの生成に基づいている。
論文 参考訳(メタデータ) (2022-11-09T16:37:55Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳(メタデータ) (2020-04-16T04:28:08Z) - Differentiable Reasoning over a Virtual Knowledge Base [156.94984221342716]
コーパスを仮想知識ベース(KB)として,複雑なマルチホップ質問に答えるタスクについて検討する。
特に、コーパス内のエンティティの参照間の関係の経路をソフトに追従し、KBのようにテキストデータをトラバースするDrKITについて述べる。
DrKITは非常に効率的で、既存のマルチホップシステムよりも毎秒10-100倍のクエリを処理する。
論文 参考訳(メタデータ) (2020-02-25T03:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。