論文の概要: Our Own Jev: Typed Decisions in One Forward Pass, from an In-House Judge to Open LoRA Models

• arxiv url: http://arxiv.org/abs/2610.29052v1
• Date: Wed, 21 Oct 2026 01:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.174548
• Title: Our Own Jev: Typed Decisions in One Forward Pass, from an In-House Judge to Open LoRA Models
• Title（参考訳）: 家庭内審査員からLoRAモデルのオープン化まで、私たちのJevは1つのパスにタイプされた決定を下す
• Abstract要約: 型付き決定は、エビデンス、質問、固定されたオプションのセットを、1つのフォワードパスで計算された全てのオプションの確率にマップする。 emph Part Iは、社内のSystem1判事について、トレーニングコーパスのために約148万件のエージェントコーディングセッションレコードをトリアージする。 emphPart IIは、パラメータを追加しない読み出しが競合するかどうか、トレーニングが役に立つかどうかを問う。
• 参考スコア（独自算出の注目度）: 6.031032479806875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A typed decision maps evidence, a question and a fixed set of options to a probability for every option, computed in one forward pass, by reading a language model's logits or a small head over its hidden states, instead of generating and parsing text. The commercial system Jev popularised this System~1 interface, and open reproductions have followed. We report two uses of the pattern. \emph{Part I} describes an in-house System~1 judge that triages about 148K agentic coding session records for a training corpus. It replaces a frontier LLM judge that cost on the order of \$1,000 per pass and whose stored labels matched a fresh two-judge consensus on only 26.9\% of the sessions where the two judges agreed; a self-hosted frozen backbone with a rank-16 LoRA adapter and a pointer head answers three typed questions in one forward pass, judges 1,000 sessions in about three minutes of one GPU, about \$0.06 at a reference rate and roughly 1\% of the frontier judge's cost, and keeps every session inside the organisation. \emph{Part II} asks whether a readout that adds no parameters can be competitive and whether training one helps. Applying the public Eikos recipe and corpus of about 25K decisions to three further backbones (1B, 2B and 35B), we read the frozen output layer of a LoRA-adapted decoder. On the 111 public hard items of JevBench our single-seed 35B, developed with those items in view, scores 79.3\%, not significantly different from the commercial reference (73.0\%, unadjusted $p=0.12$) and ahead of five open systems after Holm--Bonferroni correction; our 2B is ahead of all four kev checkpoints on the leaderboard. A single-seed ablation finds no detectable benefit from training the 26 letter rows of the output layer, and a retrain on a later corpus release moves the 2B's hard-tier accuracy by 11.7 points, which shows how little small evaluations resolve.
• Abstract（参考訳）: 型付き決定は、テキストの生成や解析ではなく、言語モデルのロジットまたは隠れた状態上の小さなヘッドを読み取ることによって、1つの前方パスで計算されたすべてのオプションの確率に、エビデンス、質問、固定されたオプションのセットをマップする。 商業システムであるJevはこのシステム~1インターフェースを普及させ、オープンな複製が続いた。 パターンの使い方を2つ報告する。 \emph{Part I}は、トレーニングコーパスのために約148万のエージェントコーディングセッションレコードをトリアージする、社内システム~1の判断を記述している。 2人の審査員が同意したセッションの26.9%で、2つの審査員が一致したセッションのうち、たった26.9パーセントで、1000ドル(約1万1000円)の費用と保存されたラベルが一致したフロンティアの審査員を置き換え、ランク16のLORAアダプタとポインタヘッドが1つのフォワードパスで3つのタイプされた質問に答え、1000セッションを1つのGPUの約3分で判断し、基準レートで約0.06ドル、フロンティアの審査員の約1倍の費用で判断し、全てのセッションを組織内に保持した。 \emph{Part II} では、パラメータを追加しない読み出しが競合するかどうか、トレーニングが役に立つかどうかを問う。 The public Eikos recipe and corpus of about 25K decisions to three more backbones (1B, 2B, 35B), we read the frozen output layer of a LoRA-adapted decoder。 JevBenchの111の公開ハードアイテムでは、これらの項目で開発されたシングルシードの35Bが79.3\%で、商業的基準(73.0\%、未調整の$p=0.12$)と、ホルム・ボンフェローニ修正後の5つのオープンシステムに大きく違いはない。 単座アブレーションは出力層の26文字行をトレーニングすることで検出可能な利益が得られず、後続のコーパスリリースでのリトレーニングによって2Bのハードレベル精度が11.7ポイント向上する。

関連論文リスト

• System1-Arena: Which Decisions Can Be Left to System 1? [72.4486135716456]
  大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
  論文  参考訳（メタデータ） (2026-10-15T04:40:47Z)
• The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express [2.2430621739246166]
  我々はUltraFeedback候補を5つのフォーマットで15,406点、審査員3名、審査員66名、審査員4名で評価した。 0-100スケールは7-12レベルに過ぎず、20倍から3倍の1-5スケールであり、2進判定は77-78%のプロンプトでトップスコアを付けている。 審査に基づくキュレーションパイプラインを報告すべき4つの量を提案する。
  論文  参考訳（メタデータ） (2026-10-12T17:36:39Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• RAIM: Robust Aggregation of Inexpensive Models for Hallucination Detection [2.4493299476776778]
  我々は、安価なオープンウェイトな審査員のパネルが、フロンティアに立つために集約できるかどうか検討する。 我々は、RAIMを8つの忠実度ベンチマークで、不同家族から10人の審査員でインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-30T08:03:31Z)
• Bongard: Training Machine Intuition [7.297514014595282]
  Bongardは、マシンの直感を設計とトレーニングの独立した能力として扱う、オープンウェイトなSystem Oneモデルである。 T5Gemma 2 4B-4Bエンコーダデコーダは、証拠を読むことと判断することとを分離する。 訓練されたヘッドは、テキストを生成することなく、供給された候補に対して確率を返す。
  論文  参考訳（メタデータ） (2026-09-30T06:48:21Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
  コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。 この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。 我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:57:41Z)
• J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
  意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。 私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。 次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2025-05-15T14:05:15Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。