論文の概要: Beyond Ranking: Are Decision Models Calibrated Relevance Scorers?
- arxiv url: http://arxiv.org/abs/2611.11480v1
- Date: Sun, 08 Nov 2026 16:22:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.042432
- Title: Beyond Ranking: Are Decision Models Calibrated Relevance Scorers?
- Title(参考訳): ランクを超えて:決定モデルは関連スコラーを校正するか?
- Abstract要約: Jevのような決定モデルは、新しいタイプの関連スコアラである。
タイプされたスコアプリミティブは、テキスト関連レベルと状態の順序付けられたセットの質問を受け、各レベルに対して確率を返す。
Jevのベンダーは、これらの確率が調整されることを約束します。
- 参考スコア(独自算出の注目度): 65.62439164527557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision models such as Jev are a new kind of relevance scorer. Their typed score primitive takes a question, an ordered set of textual relevance levels and a state, and returns a probability for each level directly, rather than token likelihoods or generated labels. Jev's vendor promises that these probabilities are calibrated. This motivates revisiting 'Beyond Yes and No', which improved zero-shot pointwise LLM reranking using likelihood-derived scores over fine-grained relevance labels but left calibration against human assessors as future work. In this paper, we first reproduce its open-model FLAN-UL2 setting on eight BEIR collections, confirming its ranking trends, and then run Jev and two open-weight decision models with the same protocol. Jev and the 27B pplx-decider rerank ahead of FLAN-UL2 and three cross-encoders on average. We then compare Jev's native probabilities with the human assessors' labels and find them overconfident: of the DL21 pairs it scores above 0.9, only 66% are relevant. Since this is mostly an error of scale, a two-parameter calibration fitted on 2,257 DL19 pairs removes much of it and transfers to DL21. After calibration, Jev has a lower DL21 Brier score than FLAN-UL2 and the three cross-encoders, mainly because it separates relevant from non-relevant pairs better. Finally, with calibrated probabilities, choosing each query's cut-off by expected F1 needs no parameter of its own, beats a fixed top-10 cut and matches a cut-off threshold tuned on DL19.
- Abstract(参考訳): Jevのような決定モデルは、新しいタイプの関連スコアラである。
タイプされたスコアプリミティブは、テキスト関連レベルと状態の順序付けられたセットに疑問を持ち、トークンの確率や生成されたラベルではなく、各レベルに対して直接確率を返す。
Jevのベンダーは、これらの確率が調整されることを約束します。
このことは「Beyond Yes and No」の再考を動機付け、細粒度レコメンデーションラベルよりもオプティマイズスコアを駆使してゼロショット点数LLMを改良し、将来の作業として人間評価者に対する校正を残した。
本稿では,まず8つのBEIRコレクション上でオープンモデルFLAN-UL2設定を再現し,そのランク付け傾向を確認し,同じプロトコルでJevと2つのオープンウェイト決定モデルを実行する。
Jevと27B pplx-deciderは、平均してFLAN-UL2と3つのクロスエンコーダに先行した。
次に、Jevのネイティブ確率と人間の評価者のラベルを比較し、それを過信する:0.9以上のDL21ペアのうち、66%しか関係がない。
これは主にスケールの誤差であるため、2,257 DL19対の2パラメータキャリブレーションが取り除かれ、DL21に転送される。
キャリブレーション後、JevはFLAN-UL2と3つのクロスエンコーダよりもDL21ブライアスコアが低い。
最後に、キャリブレーションされた確率で、各クエリのカットオフを期待するF1で選択すると、パラメータが不要になり、固定されたトップ10カットを破り、DL19に調整されたカットオフしきい値にマッチする。
関連論文リスト
- Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。
チャネル選択はキャリブレーションデータを必要としないことを示す。
3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
論文 参考訳(メタデータ) (2026-10-27T15:11:35Z) - Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors [0.0]
我々は、意思決定トレーニングが自身のバックボーンよりもモデルを改善するかどうか、TDMの校正と閾値が有病率(ラベル)シフトに耐えられるかどうかを問う。
3つのTDM(Jev,Tev1-4B,Ninmble-9B)とそのベースモデルと2つのトレーニングされた分類器を、シミュレートされたシフトの下で5つの公開データセットから同一の決定について比較する。
私たちがテストした3つのTDMは、背骨よりも均一に良いものでも、シフト中のユニークに壊れやすいものでもない。
論文 参考訳(メタデータ) (2026-10-19T13:01:20Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳(メタデータ) (2026-10-01T05:57:14Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
Jevは、校正された決定のために強化学習で訓練されたモデルである。
1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。
薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
論文 参考訳(メタデータ) (2026-09-24T11:49:30Z) - When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
マルチモデルLPMシステムは単一モデルの精度を上回ります。
彼らの利益は、ほとんど報告されない量で占められていることを示す。
論文 参考訳(メタデータ) (2026-06-25T17:06:06Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳(メタデータ) (2025-09-30T20:36:41Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。