論文の概要: AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

• arxiv url: http://arxiv.org/abs/2605.04083v1
• Date: Wed, 15 Apr 2026 17:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.583011
• Title: AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals
• Title（参考訳）: AsymmetricZero:人間専門家の選好を意味的方程式として操作するためのフレームワーク
• Abstract要約: AsymmetricZeroは、人間の専門的嗜好を意味論的評価として運用するためのフレームワークである。 AsymmetricZeroは、各タスクを安定した評価契約として表現し、グレーディング基準を明確にする。 本稿では,ハーバーを用いた5モデルフロンティア陪審を5モデルコンパクト陪審と比較する。
• 参考スコア（独自算出の注目度）: 0.0044302156879028705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Much of the focus in RL today is on evaluation design: building meaningful evals that serve simultaneously as benchmarks and as well-defined reward signals for post-training. Yet, many real-world tasks are governed by subjective, procedural, and domain-specific requirements that are difficult to encode as exact-match targets or open-ended preference judgments frequently used in RL pipelines today. In this work, we present AsymmetryZero, a framework for operationalizing human expert preferences as semantic evals. AsymmetryZero represents each task as a stable evaluation contract that makes grading criteria explicit: what is being graded, how each criterion is judged, and how criterion-level decisions are aggregated into a task outcome. The same contract can be executed using Inspect for model-only evaluations, as well as the Harbor Framework for agentic evaluations, enabling comparable scores and shared audit artifacts across both settings. We argue that the central challenge in post-training today is the faithful encoding of expert requirements into the evaluation itself. To that end, we present a study using Harbor that holds task contracts fixed and compares a five-model frontier jury against a five-model compact jury across four frontier-class solvers (Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro). We find that criterion-level frontier-vs-compact agreement ranges from $75.9\%$ to $89.6\%$ (strict common-subset agreement: $77.8\%$ to $92.1\%$), while compact juries exhibit substantially higher internal dissent (3--2 split rate $28.7\%$--$32.4\%$) than frontier juries ($6.1\%$--$11.5\%$). Verifier traces further show that compact juries reduce per-criterion judging cost to roughly $4.2\%$--$5.6\%$ of frontier and latency to roughly $21.7\%$--$27.1\%$, even as aggregated task-level outcomes often remain comparatively stable.
• Abstract（参考訳）: 現在のRLの焦点は評価設計であり、ベンチマークとトレーニング後の報奨信号とを同時に使用する有意義なevalの構築である。 しかし、多くの実世界のタスクは主観的、手続き的、ドメイン固有の要件によって管理されており、今日ではRLパイプラインで頻繁に使用される正確なマッチターゲットやオープンな優先判断として符号化するのが困難である。 本研究では,人間の専門的嗜好を意味論的評価として運用するためのフレームワークであるAsymmetricZeroを紹介する。 AsymmetricZeroは、各タスクを安定した評価契約として表現し、グレーティング基準を明確にする。 同じコントラクトはモデルのみの評価にInspectを使用して実行することができ、エージェント評価のためのHarbor Frameworkを使用して、両方の設定で同等のスコアと監査成果物を共有することができる。 今日のポストトレーニングにおける中心的な課題は、専門家の要求を評価そのものに忠実にエンコーディングすることである、と私たちは主張する。 この目的のために,ハーバーを用いた5モデルフロンティア陪審を4つのフロンティアクラスの解決者(Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro)の5モデルコンパクト陪審と比較した。 基準レベルのFrontier-vs-compact agreementは75.9\%から89.6\%(制限付きコモン・サブセット契約:77.8\%$から92.1\%$)まで様々であり、一方コンパクト・ジャリーはフロンティア・ジャリー(6.1\%--$11.5\%$)よりもかなり高い内部不一致(28.7\%)を示す。 検証結果から、コンパクトなジャリーは基準ごとの判定コストを約4.2 %$--$5.6 %$のフロンティアとレイテンシを約21.7 %$--$27.1 %$に削減している。

関連論文リスト

• Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
  任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。 54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。 私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
  論文  参考訳（メタデータ） (2026-09-03T16:26:20Z)
• SAGE: State-Grounded, Abstention-Aware Evaluation of Task-Oriented Dialogue Agents [2.853407724009394]
  SAGEはワークフロー仕様をコンパイルし、ターン毎の状態差分をアトミックなスキーマ付き基準にコンパイルする。 SAGE-Coreは81-91%の基準をコンパイラ、シンボリックルール、オンデバイスエンコーダで決定する。 SAGE-LLMはオープンクラスの基準にフォーカス-LLMフォールバックを追加する。
  論文  参考訳（メタデータ） (2026-08-31T22:14:52Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
  TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。 631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。 その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
  論文  参考訳（メタデータ） (2026-08-17T16:15:50Z)
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
  実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
  論文  参考訳（メタデータ） (2026-06-17T19:37:13Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using LLM Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  エージェントストック予測システムは、個々の品質が集約メトリクスによって隠された相互依存的な決定のシーケンスを作成する。 このギャップに対処する行動評価フレームワークを提案する。 検証期間に限られる3つの短い微調整サイクルは、2017-2025年の試験期間中に1日間のMAPEを0.61%から0.54%に減らした。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations [4.032680910442999]
  LLM-as-judge フレームワークは NLG の自動評価にますます利用されているが、そのインスタンスごとの信頼性はよく分かっていない。 SummEvalに応用した2段階の診断ツールキットについて述べる。 $textbf(1)$ 推移性解析により,低集合的違反率で隠蔽されるインプット毎の不整合の広範性を明らかにする。 4人の審査員と4つの基準で、どちらの診断も一致している。
  論文  参考訳（メタデータ） (2026-04-16T17:58:21Z)
• Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge [18.04153868078285]
  モデルレベルの合意は、脆弱なサンプルレベルの合意をマスクすることを示す。 また,ドメイン知識に基づく評価ごみを動的に生成することで,より有意義な評価が得られることを示す。 これらの結果から, 評価多元論は, 一般的な基準に頼らず, 専門家の知識によって動的に富むべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-03-11T17:50:38Z)
• Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment [26.786161923794115]
  大規模言語モデル(LLM)は、推論品質の評価手段としてますます使われていますが、その信頼性と支払いリスク設定の偏りはよく分かっていません。 本稿では,Merchant Category Code(MCC)に基づく商業リスク評価において,LCM推論を評価するための構造化マルチ評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-04T22:55:16Z)
• EdgeJury: Cross-Reviewed Small-Model Ensembles for Truthful Question Answering on Serverless Edge Inference [0.0]
  EdgeJuryは、真実性と堅牢性を改善する軽量アンサンブルフレームワークです。 TruthfulQA (MC1)では、EdgeJuryの精度は76.2%である。 200-question adversarial EdgeCasesセットでは、EdgeJuryは+48.2%の利得を得る。
  論文  参考訳（メタデータ） (2025-12-29T14:48:40Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement [49.15348173246146]
  人間の合意を厳格に保証したLCMに基づく評価を提供するための原則的アプローチを提案する。 まず、信頼度評価手法は、ペア評価にモデル選好を不クリティカルに頼ってはならないことを提案する。 そして、この選択的な評価枠組みの下で、人的合意が確実に保証されることを示す。
  論文  参考訳（メタデータ） (2024-07-25T20:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。