論文の概要: ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions
- arxiv url: http://arxiv.org/abs/2610.37732v1
- Date: Tue, 27 Oct 2026 12:53:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.306734
- Title: ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions
- Title（参考訳）: ThinkJev: キャリブレーション型決定の予算はすべて
- Abstract要約: ThinkJevは、あるオープンなハイブリッド思考モデルから、素早くて遅いシステムを構築している。
System 1はオプション文字の確率を読み取るが、System 2はモデルがキャッシュされたプロンプトで考えた後に同じ文字を読み取る。
文字は、何回かの思考トークンの後に読むことができるので、サンプル化された思考は、すべての思考予算の下でも答えを与える。
- 参考スコア（独自算出の注目度）: 6.491962034434962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many uses of language models end in a typed decision: a choice among a closed set of options, whose probabilities code can act on. Reading those probabilities from one forward pass is fast but often wrong on decisions that take several steps, such as arithmetic, counting, and date comparison. Letting the model think first fixes most of these errors, but costs seconds per decision instead of milliseconds. To pay for thinking only where it helps, ThinkJev builds a fast and a slow system from one open hybrid-thinking model that can answer directly or after a thought. System 1 reads the model's probabilities for the option letters when it answers directly; System 2 reads the same letters after the model has thought on the same cached prompt, so escalating repeats no work and both systems give probabilities over the same options. Because the letters can be read after any number of thought tokens, one sampled thought also gives the answer under every thinking budget. Without training, ThinkJev lets System 1 answer alone only where a statistical test on labeled dev data guarantees that its accepted answers stay under a target error rate. At a 5% target, Qwen3.5-27B answers 24.5% of 8359 test decisions this way with a realized error of 3.9% (Qwen3.5-4B and 9B: 6.5% and 0.0%). For the rest, stopping each thought as soon as its answer is confident reaches 81.6% accuracy, against 82.7% for always thinking, with 72% of the thought tokens. Choosing when to think from System 1's confidence alone saves less, because the decisions System 1 is least sure of are often not the ones thinking fixes. On the public items of JevBench, an independent benchmark of typed-decision services, Qwen3.5-27B thinks on 29.4% and is not distinguishable in accuracy from the two thinking APIs listed (exploratory). Code and data generators are available at https://github.com/ding-xiaolu/ThinkJev.
- Abstract（参考訳）: 多くの言語モデルの使用は、型付き決定で終わる: 確率コードが動作可能な、クローズドなオプションセットの選択。
これらの確率を前方から読み取るのは速いが、算術、数え方、日付比較など、いくつかのステップを踏む決定にはしばしば誤りがある。
モデルにまずこれらのエラーのほとんどを修正させるが、決定毎にミリ秒ではなく秒単位のコストがかかる。
ThinkJevは、それが役に立つ場所だけを考えるために、オープンなハイブリッド思考モデルから高速で遅いシステムを構築している。
システム2は、モデルがキャッシュされたプロンプトについて考えた後、同じ文字を読み取るので、繰り返しのエスカレーションは動作せず、両方のシステムが同じオプションに対して確率を与える。
文字は、何回かの思考トークンの後に読むことができるので、サンプル化された思考は、すべての思考予算の下でも答えを与える。
トレーニングなしでは、ThinkJevはシステム1のみに、ラベル付き開発データに対する統計的テストによって、受け入れられた回答がターゲットエラー率以下であることを保証する。
5%の目標で、Qwen3.5-27Bは8359のテスト決定の24.5%をこの方法で答え、実際の誤差は3.9%(Qwen3.5-4Bと9B:6.5%と0.0%)である。
残りは、回答の自信が81.6%に達するとすぐに各思考を止めるが、常に考えると82.7%、思考トークンは72%である。
システム1の信頼性だけで考えるときの選択は、システム1の判断が、修正を考える人ではないことが少なくて、より少なくなります。
タイプ決定サービスの独立したベンチマークであるJevBenchの公開項目では、Qwen3.5-27Bは29.4%とされ、リストアップされた2つの思考API(探索)と区別できない。
コードとデータジェネレータはhttps://github.com/ding-xiaolu/ThinkJevで入手できる。
関連論文リスト
- System1-Arena: Which Decisions Can Be Left to System 1? [72.4486135716456]
大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。
System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。
テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
論文 参考訳（メタデータ） (2026-10-15T04:40:47Z) - Jeva: System One Models from First Principles [58.432996881401415]
Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。
共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックは要求状態のみを洗練する。
Jevとオープンソースモデルに対する評価全般において、Jevaは強力な型付き決定性能とほぼ完璧なnull検出を組み合わせる。
論文 参考訳（メタデータ） (2026-10-13T17:31:09Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev [0.0]
各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。
299,463コールの意図分類とトピック分類を用いて,ホスト型決定モデルであるjev-1.13.0の事前登録試験を行った。
追加オプションはすべて、ゴールドラベルと最強の間違ったラベルの間にログを移動します。
論文 参考訳（メタデータ） (2026-10-12T12:10:32Z) - SanSi: A Looped Typed Decision Model for System 1.5 Thinking [25.412761430847365]
我々は、1つのパスと生成された推論の間に何が存在するかを研究する。
本研究では,事前学習したループ言語モデルを型決定モデルに変換するSanSiを提案する。
59のソースから10,027のテスト判断で、SanSiは72.0%の精度に達した。
論文 参考訳（メタデータ） (2026-10-06T04:28:22Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳（メタデータ） (2026-09-29T14:15:04Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。