論文の概要: Releasing the Inner Jev: A Simple Recipe for Open Decision Models

• arxiv url: http://arxiv.org/abs/2610.17205v1
• Date: Mon, 12 Oct 2026 17:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.435015
• Title: Releasing the Inner Jev: A Simple Recipe for Open Decision Models
• Title（参考訳）: 内部Jevを緩和する - オープン決定モデルのための簡単なレシピ
• Abstract要約: 既存のオープン命令調整言語モデルでは、同等の性能が得られることを示す。 言語モデルヘッドのスライスからLoRAと決定ヘッドを使って、それぞれを微調整します。 その結果,オープン言語モデルはすでにSystem Oneの機能を持っていることがわかった。
• 参考スコア（独自算出の注目度）: 5.492889521988416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based decision-making systems, also called System One models, have recently gained popularity, most notably through Jev (Almeida, 2026). Given a typed input state, a question, and a set of options, they return a probability for each option in a single forward pass, without text generation. We show that existing open instruction-tuned language models can achieve comparable performance \textit{without any additional training}, by reading out answers from letters (A, B, C, etc.) in the model's output logits at the last token position. Furthermore, we show how a simple supervised fine-tuning recipe can improve their performance further. We evaluate four open instruction-tuned language models: Gemma 4 31B, Gemma 4 12B, Qwen3.6-27B, and Qwen3.5-4B. We fine-tune each using LoRA and a decision head initialized from a slice of the language model head. Furthermore, we introduce OpenDecisions, a novel 2,352-question validation dataset designed to reflect the task composition of JevBench (JevBench main- tainers, 2026) and which computes a Capability score based on accuracy and calibration metrics. Without fine-tuning, Gemma 4 31B scores 79.6 on OpenDecisions, compared to Jev's 80.1. After undergoing our fine-tuning recipe, it scores 84.4 on OpenDecisions and 81.5 on JevBench v1.7, outperforming Jev by 4.3 and 4.4 Capability points respectively and setting a new state-of-the-art on OpenDecisions. On a suite of public decision datasets, our models achieve accuracy comparable to Jev, with lower calibration error. Our results show that open language models already possess System One capabilities, and with simple fine-tuning they outperform Jev on a wide range of decision tasks. We release our models, serving code, and OpenDecisions.
• Abstract（参考訳）: LLMベースの意思決定システムであるSystem Oneは、Jev (Almeida, 2026) を通じて最近人気を博している。 タイプされた入力状態、質問、オプションのセットが与えられた場合、テキスト生成なしで、単一のフォワードパスで各オプションの確率を返す。 既存のオープン命令調整言語モデルでは,最後のトークン位置で出力ロジット中の文字(A,B,Cなど)から回答を読み取ることで,同等のパフォーマンスを達成可能であることを示す。 さらに,簡単な教師付き微調整レシピにより,その性能がさらに向上することを示す。 Gemma 4 31B, Gemma 4 12B, Qwen3.6-27B, Qwen3.5-4Bの4つのオープン命令調整言語モデルを評価する。 言語モデルヘッドのスライスから初期化したLoRAと決定ヘッドを使って,それぞれを微調整する。 さらに,JevBench (JevBench main-tainers, 2026) のタスク構成を反映した新しい 2,352-question Validation データセット OpenDecisions を導入し,精度とキャリブレーションの指標に基づいてキャパビリティスコアを算出する。 微調整の無いGemma 4 31Bは、Jevの80.1に比べて、OpenDecisionsで79.6得点した。 微調整のレシピを実行した後、OpenDecisionsで84.4、JevBench v1.7で81.5、Jevを4.3と4.4でそれぞれ上回り、OpenDecisionsで新たな最先端の設定を行います。 公開決定データセットのスイートでは、モデルの精度はJevに匹敵するが、キャリブレーションエラーは低い。 その結果、オープン言語モデルはすでにSystem Oneの機能を備えており、シンプルに微調整することで、幅広い意思決定タスクにおいて、Jevよりも優れています。 私たちはモデル、サービスコード、OpenDecisionsをリリースしています。

関連論文リスト

• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
  1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。 タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。 その結果、自動決定ゲートの条件依存ルールが得られる。
  論文  参考訳（メタデータ） (2026-09-29T19:57:59Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• JevOut: Natural Context Can Flip Decision Models [3.2875856796061513]
  コンテキストに自然に適合する短い追加は、そうでなければ正しい決定をリダイレクトできることに気付きました。 これらの結果は、現在の決定モデルにおける明らかな脆弱性を明らかにします。
  論文  参考訳（メタデータ） (2026-09-24T17:57:07Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。