論文の概要: OSCAR: Order-aware Scoring and Calibration for AI Rankings
- arxiv url: http://arxiv.org/abs/2609.24128v1
- Date: Mon, 21 Sep 2026 05:30:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.084925
- Title: OSCAR: Order-aware Scoring and Calibration for AI Rankings
- Title（参考訳）: OSCAR:AIランキングの順序対応スコーリングと校正
- Abstract要約: 我々は、AIランキングのスコア付けと校正のための秩序対応フレームワークであるOSCARを紹介する。
18人の評価者による公表された判定では、A-minus-Bスコアの差は-63.11ドルから9,8.31ドルまで様々である。
感度に基づく格付けを判断対象の位置、長さ、家族用語で拡張し、局所的な排便誘発変位と識別障害を特徴付けるとともに、調整された比較にプロンプト・クラスタの不確実性を伝達する。
- 参考スコア（独自算出の注目度）: 5.827674099587138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Judge-specific sensitivity is useful for aggregating pairwise LLM evaluations, but its interpretation depends on which systematic presentation effects the ranking model includes. We introduce OSCAR, an order-aware framework for scoring and calibrating AI rankings, and study position as one such effect. In released judgments from 18 evaluators, the all-response A-minus-B score difference ranges from $-63.11$ to $98.31$ percentage points. Matching question text, response texts, candidate identities, and judge within the released table gives an overall difference of $24.22$ points (95% interval $[22.90,25.54]$), conditional on the released text mapping. A controlled calculation isolates the potential consequence: with true sensitivity fixed at one, omitting a position intercept of four reduces the population-optimal slope to $0.0771$. We extend sensitivity-based ranking with judge-specific position, length, and family terms, characterize local omission-induced displacement and an identification failure, and propagate prompt-cluster uncertainty to adjusted comparisons. Across four released datasets, position provides the largest stand-alone predictive improvement. Refitting bootstrap comparisons show more selective gains from the full model over position-only adjustment. In dependent binary simulations, adjusting both the mean and covariance yields 94.4--95.2% coverage; correcting either alone is insufficient. At $N=10{,}000$, OSCAR reduces mean neutral-target RMSE from $0.1158$ under the sensitivity-only model to $0.0237$.
- Abstract（参考訳）: 判断特異的感度はペアワイズLCM評価の集約に有用であるが、その解釈はランキングモデルがどの体系的な提示効果を含むかによって異なる。
我々は,AIランキングを評価・校正するための秩序対応フレームワークであるOSCARを紹介し,その1つとしてその位置について検討する。
18人の評価者による公表された判定では、A-minus-Bスコアの差は-63.11ドルから9,8.31ドルまで様々である。
質問テキスト、応答テキスト、候補ID、および解放されたテーブル内の審査員とのマッチングは、リリースされたテキストマッピングの条件付きである24.22$ポイント(95%間隔$[22.90,25.54]$)の全体差を与える。
制御された計算は、真の感度を1つに固定し、4つの位置インターセプトを省略することで、人口最適勾配を0.0771$に下げる。
感度に基づく格付けを判断対象の位置、長さ、家族用語で拡張し、局所的な排便誘発変位と識別障害を特徴付けるとともに、調整された比較にプロンプト・クラスタの不確実性を伝達する。
4つのリリースデータセットにまたがって、ポジションは最大のスタンドアローン予測改善を提供する。
ブートストラップ比較の適合は、位置のみの調整よりも完全なモデルより選択的な利得を示している。
依存二分法シミュレーションでは、平均と共分散の両方を調整すると94.4--95.2%のカバレッジが得られる。
N=10{,}000$で、OSCARは平均中性ターゲットRMSEを感度のみのモデルで0.1158$から0.0237$に下げる。
関連論文リスト
- Exact Finite Attention Responses From RoPE Derivatives [0.0]
我々は、注意介入のための正確なローカル応答を導き、キャッシュされたベースラインと1つの後方パスから候補編集を採点できる。
その結果、92,160回の位置編集で95.36-96.52%の符号精度が得られた。
論文 参考訳（メタデータ） (2026-09-12T20:15:37Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Distributionally Robust Listwise Preference Optimization [47.053005334474896]
ランキングラベルの不確実性の下で、リストワイズ選好の最適化について検討する。
本稿では,候補リスト上のランキングラベル条件を直接的確に定式化する,ポイントワイド全変量ロバストなPackett--Luce目標を提案する。
実験により,提案したロバスト補正はクリーンラベル下での性能を保ち,ノイズ下でのロバスト性を向上させることが示された。
論文 参考訳（メタデータ） (2026-07-02T05:12:03Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Adaptive Calibration in Non-Stationary Environments [44.81344039432424]
複数のキャリブレーション対策の下で適応的なキャリブレーション保証を実現するアルゴリズムの組を開発する。
我々の手法は先行研究(Hu et al., 2026, Luo et al., 2025)の上に構築され、基礎となる基底真理付近でより微細な分解を割り当てる予測空間の非一様分割を導入する。
論文 参考訳（メタデータ） (2026-05-12T04:06:40Z) - BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。
このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
論文 参考訳（メタデータ） (2026-05-09T16:26:49Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。
マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。
正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文 参考訳（メタデータ） (2025-08-23T03:32:04Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳（メタデータ） (2024-05-24T11:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。