論文の概要: Verdict: Encode Once, Decide Many
- arxiv url: http://arxiv.org/abs/2610.20778v1
- Date: Wed, 14 Oct 2026 18:27:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.013918
- Title: Verdict: Encode Once, Decide Many
- Title(参考訳): 評決:一度エンコードし、多くの決定を下す
- Abstract要約: オープンなエンコーダであるVerdict-MQを紹介します。
タイプ決定ベンチマークでは、395M Verdict-MQがリリースされた421M Layaのスペシャリストよりも、ソフトゴールドのラベルとかなりよく一致している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automating organizational work means answering many small typed questions about one piece of state (does this email need a reply, how urgent is it, who owns it) with probabilities good enough to act on without a human. The open typed-decision model we compare against, like a standard cross-encoder, answers each question with a separate pass over the input. We present Verdict-MQ, an open encoder that reads a case once and answers all of its questions: given identical retained state tokens after truncation (verified on every reported case), a structured attention mask makes the state encoding independent of the questions, keeps questions from influencing each other, and makes option order irrelevant by construction. On the typed-decisions benchmark, a 395M Verdict-MQ matches the soft gold labels significantly better than the released 421M Laya specialist on all five fresh seeds (KL 0.080 vs 0.117, Brier 0.045 vs 0.061), an advantage that survives per-system temperature scaling; its higher accuracy (0.801 vs 0.767) lies past the benchmark's own saturation point, so we read that margin as closer agreement with the benchmark's labelling teacher. On RACE, BoolQ and MultiRC, against a matched fine-tuned baseline it wins on MultiRC and loses on RACE and on BoolQ, where its training is unstable; we measure zero-shot references ourselves, including a closed general system (Jev) that beats every fine-tuned encoder. A controlled comparison measures what the shared state costs: giving each question its own question-aware copy of the state gains 0.9-3.5 points on RACE and MultiRC at 1.4-2.5x the per-case latency, and nothing measurable on typed decisions, with the invariance guarantees unchanged.
- Abstract(参考訳): 組織作業の自動化とは,ひとつの状態に関する小さな型付けされた質問(このメールには返信が必要か,誰がそれを所有しているか,緊急性が必要か)に,人間なしで行動可能な十分な確率で回答する,という意味です。
私たちが比較するオープン型決定モデルは、標準のクロスエンコーダのように、各質問に入力を別のパスで答えます。
我々は、一度ケースを読み、すべての質問に答えるオープンなエンコーダであるVerdict-MQを紹介します: トランケーション後の同じ状態トークン(報告されたすべてのケースで検証された)が与えられたとき、構造化されたアテンションマスクは、質問から独立して状態をエンコードし、質問を互いに影響を与えないようにし、建設によって無関係にする。
タイプ決定ベンチマークでは、395M Verdict-MQは、リリース済みの421M Layaスペシャリスト(KL 0.080 vs 0.117, Brier 0.045 vs 0.061)よりも大幅に優れている。
RACE、BoolQ、MultiRCでは、MultiRCで勝利し、トレーニングが不安定なRACEやBoolQで負ける。
コントロールされた比較は、共有された状態のコストを計測する。 それぞれの質問に、各状態の質問対応コピーを与えると、RACEとMultiRCが1.4-2.5倍の遅延で0.9-3.5ポイント上昇し、型付き決定では測定できないが、不変性は保証されない。
関連論文リスト
- Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳(メタデータ) (2026-09-28T14:31:19Z) - Beyond Calibration: Do a Typed-Decision Model's Probabilities Obey the Probability Axioms? [9.59480536323465]
TypeSafeのJevのような型決定モデルは、テキストの代わりに確率のある状態に関する宣言された yes/no または multiple-choice 質問に答える。
我々はこの特性、コヒーレンス(coherence)を、ラベルを必要としない論理的にリンクされた質問のバッテリーでテストする。
論文 参考訳(メタデータ) (2026-09-27T04:48:59Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳(メタデータ) (2026-09-25T11:32:19Z) - Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
Jevは、校正された決定のために強化学習で訓練されたモデルである。
1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。
薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
論文 参考訳(メタデータ) (2026-09-24T11:49:30Z) - PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。
本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。
PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
論文 参考訳(メタデータ) (2026-09-07T19:21:49Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳(メタデータ) (2026-09-02T10:30:05Z) - SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。
タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。
次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
論文 参考訳(メタデータ) (2026-09-02T08:40:07Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Counterfactual Variable Control for Robust and Interpretable Question
Answering [57.25261576239862]
ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。
本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。
本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-12T10:09:05Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳(メタデータ) (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。