論文の概要: From Probabilities to Decisions: Search and Multi-Teacher Distillation with Jev

• arxiv url: http://arxiv.org/abs/2610.09188v1
• Date: Tue, 06 Oct 2026 22:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.637144
• Title: From Probabilities to Decisions: Search and Multi-Teacher Distillation with Jev
• Title（参考訳）: 確率から判断へ:Jevによる検索と多教師蒸留
• Abstract要約: 厳密な制約の下で決定を必要とする2つのタスクを通じて、そのようなモデルであるJevについて研究する。 弾丸チェスでは、ストックフィッシュ検索の内側にJevの判断を配置するボットが、他のボットに対して2200リーチの弾丸評価を上回ります。 パスリグレードでは、Jevのラベルだけで、GPU時間5.1ではなく21分間のAPIコールから、Qwenの最高スコアのリランカをトレーニングしている。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Probability-only models, which TypeSafe calls System One models, return calibrated probabilities for fixed choices in milliseconds and generate no text. We study one such model, Jev, through two tasks that require decisions under tight constraints. In bullet chess, a bot that places Jev's judgment inside Stockfish search alongside an opening book and endgame tablebases climbs above a 2200 Lichess bullet rating against other bots. Live model calls are too slow for search, so we distill pairwise judgments into a compact evaluator that runs at every position. We then ask how best to spend a fixed labeling budget when an LLM, Qwen3-32B, is available as a second teacher. In chess, averaging both judges' labels beats spending the whole budget on Qwen alone by 9.6 Elo (95% interval 4.3 to 14.9), and the gain replicates on fresh openings; a second answer from the same judge is no substitute, and Jev is the strongest partner for Qwen among the models tested. In passage reranking, Jev's labels alone train a reranker that scores as high as Qwen's, from 21 minutes of API calls instead of 5.1 GPU-hours, and adding Qwen gains at most a few thousandths in ranking quality. Search supplies the lookahead, distillation makes the judgment cheap enough to use at every position, and an LLM partner pays off in chess.
• Abstract（参考訳）: TypeSafeがSystem Oneモデルと呼ぶ確率のみのモデルは、数ミリ秒で固定選択のキャリブレーションされた確率を返却し、テキストを生成しない。 厳密な制約の下で決定を必要とする2つのタスクを通じて、そのようなモデルであるJevについて研究する。 弾丸チェスでは、Jevの判断をストックフィッシュの検索の中に配置するボットが、オープンブックとエンドゲームテーブルベースと共に、他のボットに対して2200リーチの弾丸評価を上回ります。 ライブモデルコールは検索には遅すぎるため、任意の位置で実行されるコンパクトな評価器にペアの判断を蒸留する。 次に、第2の教師としてLLMであるQwen3-32Bが利用可能になったとき、固定的なラベル付け予算をどのように使うべきかを尋ねる。 チェスでは、2人の審査員のラベルを平均すると9.6エロ(95%間隔4.3から14.9)の予算をQwenに費やし、ゲインは新鮮なオープニングで複製され、同じ審査員からの2番目の答えは代替品ではなく、JevはQwenの最も強力なパートナーである。 パスリグレードでは、Jevのラベルだけで、Qwenの最高スコアのリランカをトレーニングし、5.1GPU時間ではなく21分間のAPIコールから、Qwenのランキング品質を数千分の1追加する。 検索は見晴らしを供給し、蒸留はあらゆる位置で使用可能な判断を安価にし、LLMパートナーはチェスで支払いを行う。

関連論文リスト

• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
  Jevは、校正された決定のために強化学習で訓練されたモデルである。 1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。 薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
  論文  参考訳（メタデータ） (2026-09-24T11:49:30Z)
• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess [0.0]
  検索なしチェスネットワークは、強力な教師を模倣することによって、単一の前方パスから人間のマスター強度に達する。 検索を省略することは、それなしでプレイする上では不十分な代案なので、自己プレイ強化学習でシングルパスの強度を微調整します。
  論文  参考訳（メタデータ） (2026-08-27T22:42:08Z)
• SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
  SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。 我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。 信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
  論文  参考訳（メタデータ） (2026-06-05T19:38:15Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)
• Learning Zero-Sum Simultaneous-Move Markov Games Using Function Approximation and Correlated Equilibrium [116.56359444619441]
  両プレイヤーのゼロサム有限ホライゾンマルコフゲームに対する効率の良い強化学習アルゴリズムを開発した。 オフライン環境では、両プレイヤーを制御し、双対性ギャップを最小化してナッシュ平衡を求める。 オンライン環境では、任意の相手と対戦する1人のプレイヤーを制御し、後悔を最小限に抑える。
  論文  参考訳（メタデータ） (2020-02-17T17:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。