論文の概要: Evaluation Contracts and Evaluation Leverage: Sliced-Gap Readings in Structured Prediction Can Move Without Model Change

• arxiv url: http://arxiv.org/abs/2611.04099v1
• Date: Tue, 03 Nov 2026 00:17:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:39:22.644377
• Title: Evaluation Contracts and Evaluation Leverage: Sliced-Gap Readings in Structured Prediction Can Move Without Model Change
• Title（参考訳）: 評価契約と評価の活用: 構造予測におけるスライスギャップ読み込みはモデル変更なしに移動できる
• Abstract要約: ギャップ読み込みはモデルと評価契約のジョイント特性であることを示す。 我々はこれをランクフリップ条件を中心とした評価レバレッジとして定式化する。
• 参考スコア（独自算出の注目度）: 7.730507807695669
• License:
• Abstract: NLP evaluation reports routinely cite sliced performance differences, most prominently the intra-inter gap in document-level relation extraction, as capability evidence. We show that such gap readings are joint properties of models and evaluation contracts: scoring function, gold version, threshold, output format, and prompt language. With predictions frozen, a method ordering reverses under a gold-standard exchange (+0.0363, CI excluding zero; tie-level after), movement localizing where gold re-partitions: renames are gauge transformations (Delta=0; re-annotation +0.862). We formalize this as an evaluation leverage account centered on the rank-flip condition. Constructively, the audited evaluation reading (AER) is a contract-marginalized, tie-declared, seed-prescribed, gate-filtered procedure whose tie declarations cover every contract-induced flip on the declared WMT19 grids (14/14; held-out 73% vs. union-of-ties 89%), matching the best single metric contract at epsilon=0.10 equivalence. Evidence spans DocRE, HacRED, a UD probe, and released gold revisions; an alternative-reference-set replication extends it beyond our testbeds. Failed predictions retained as boundaries; a 5% violation gate flags unverifiable settings and bounds survivor-selection bias. We release EvalLever, a preregistered workflow with an amendment trail; on LLM-as-judge grids, the audited ensemble stabilizes every unstable pair (13-15 to zero; generic ensemble shrinkage: the preregistered correlation criterion failed, the companion stabilization criterion passed).
• Abstract（参考訳）: NLP評価報告は、文書レベルの関係抽出におけるインターギャップを、能力証拠として、スライスされた性能差を例に挙げている。 このようなギャップ読み込みは、スコアリング関数、ゴールドバージョン、しきい値、出力形式、プロンプト言語といったモデルと評価契約のジョイント特性であることを示す。 予測が凍結すると、金標準交換(0を除いたCI+0.0363, CI; ネクタイレベルの後続)の下で逆の順序付けを行い、金の再分割を行う動きのローカライゼーション: 名前変更はゲージ変換(Delta=0; re-annotation +0.862)である。 我々はこれをランクフリップ条件を中心とした評価レバレッジとして定式化する。 監査評価読解(AER)は、宣言されたWMT19グリッド上のすべての契約によって引き起こされるフリップ(14/14、保留73%、結束89%)をカバーする、契約マージ化され、タイで宣言された、シードで規定された、ゲートフィルタされた手続きであり、エプシロン=0.10の同値で最高の単一メートル法契約と一致する。 EvidenceはUDプローブであるDocRE、HacREDにまたがり、金のリビジョンをリリースしています。 5%の違反ゲートフラグは、検証不可能な設定と、生存者選択バイアスを制限している。 LLM-as-judge グリッドでは、監査されたアンサンブルはすべての不安定なペア (13-15 から 0 まで) を安定化させます。

関連論文リスト

• The Knowledge Layer Model (KLM): Evidence-Visible AI Output, Routing Diagnostics, and Negative Results [0.0]
  推論レコードのオープンな実装ニュートラル仕様である知識層モデル(KLM)を導入する。 実験材料は、エンドツーエンドの検証ではなく、別の内部実験から成り立っている。 発見は内部および著者によって報告され、歴史的観察は後世の複製と区別される。
  論文  参考訳（メタデータ） (2026-10-30T17:26:18Z)
• EMO: A Closed-Loop Test-Time Computation Framework via Alternating Context Optimization and Logits Steering [41.107172036478026]
  予測-最大化にインスパイアされたトレーニング不要のフレームワークであるEMOを紹介する。 EMOは質問固有文脈推定(E-step)と分布改善(M-step)を交互に行う 操舵強度を十分に小さくするために, 目標KLの偏差が一周的に減少することが証明された。
  論文  参考訳（メタデータ） (2026-10-15T16:23:55Z)
• CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production [0.0]
  CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。 CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
  論文  参考訳（メタデータ） (2026-09-24T19:10:52Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
  Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。 有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
  論文  参考訳（メタデータ） (2026-08-26T11:36:31Z)
• Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations [42.90321348046055]
  画像領域のサブモジュール探索に基づくアノテーションのない属性正規化フレームワークを提案する。 候補部分集合がモデル出力にどのように影響するかを測定することで、探索は、コンパクトでクラス識別的な証拠を探索由来の監督として抽出する。 ImageNet-100の実験結果から,VT-B/16の属性安定性,挿入性,削除性は0.28ポイントの精度低下で大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-07-26T20:41:38Z)
• Towards Context-Invariant Safety Alignment for Large Language Models [37.23800025875439]
  我々は,検証可能なプロンプトをアンカーとして扱うアンカー不変性正規化(AIR)を導入し,アンカー性能に対するオープンエンド変種のみを正規化するために,停止段階のターゲットを用いる。 AIRは、流通グループの精度を12.71%向上し、流通の一貫性を33.49%向上させ、敵のフレーミングに対する安全性の制約を堅牢にする。
  論文  参考訳（メタデータ） (2026-05-20T10:33:11Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。