論文の概要: When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits

• arxiv url: http://arxiv.org/abs/2609.24194v1
• Date: Mon, 21 Sep 2026 07:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.112238
• Title: When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits
• Title（参考訳）: 残像化がオーディションの助けとなるとき--フォーマト効果,スライスゲイン,その限界
• Abstract要約: LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation scores used around LLM systems -- including reward models, rerankers, and LLM judges -- can track surface form instead of the quality they claim to measure. When presented with a terse correct solution and a commented buggy solution for the same MBPP problem, a public preference reward model selects the correct one no better than a coin flip (0.507). Subtracting the predictable surface component from such scores is increasingly common, but removal alone does not yield a more valid measurement: the removed component may carry construct-relevant signal, and residualization cannot tell which is which. Under designed interventions -- unit-test labels with comment-only edits -- residualization attenuates the reward model's format effects by about 0.12 on both correct and buggy code, while the correct-versus-buggy margins move by less than 0.01. In observational NLI and QA settings, we freeze a held-out replication before scoring and re-evaluate it using labels from disjoint annotators; this supports only a narrower conclusion: better agreement with the construct labels on a pre-declared slice where a surface-only predictor errs, not a repaired score. Full-population agreement falls in every observational setting with a reported positive slice gain, and within-question ranking falls in every such QA setting. When construct and surface features are entangled, residualization can decorrelate a score while degrading construct alignment, and, in a controlled model, configurations just as damaging to construct alignment pass every pre-adjustment check, so no committed gate is a guarantee. We assemble these distinctions into a reporting protocol whose outcomes, refusal included, state what an adjusted score may be claimed to show: an audit-time diagnostic reported beside the construct-alignment cost it incurs, never a replacement for the raw score.
• Abstract（参考訳）: LLMシステムに関する評価スコア(報酬モデル、リランカー、LLM審査員など)は、彼らが測定する品質ではなく、表面形状を追跡することができる。 同じMBPP問題に対して、簡潔な正解とコメント付きバグ解が提示されると、公衆の選好報酬モデルがコインフリップ(0.507)に比較して正しい解を選択する。 このようなスコアから予測可能な表面成分を抽出することはますます一般的になっているが、除去だけではより有効な測定は得られず、除去された成分は構成関連信号を持ち、残留化はどれがどれであるかを判断できない。 設計された介入 -- コメントのみの編集を伴うユニットテストラベル -- の下では、報酬モデルのフォーマット効果は、正しいコードとバグのあるコードの両方で約0.12、正逆バグのマージンは0.01以下である。 観測的NLIおよびQA設定では、無関節アノテータのラベルを用いて評価する前に保持された複製を凍結し、それを再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。 コンストラクタと表面の特徴が絡み合っている場合、残差化はコンストラクタアライメントを劣化させながらスコアをデコレーションし、制御されたモデルでは、コンストラクタアライメントがアライメントを損なうように構成が事前調整チェックをパスするので、コミットゲートが保証されない。 我々はこれらの区別を、結果、拒否、調整されたスコアが示すであろうことを記述した報告プロトコルにまとめる: 構成調整コストの横に報告された監査時間診断は、生のスコアを置き換えるものではない。

関連論文リスト

• SupportCal: Label-Free Calibration of Post-Trained LLMs via Reference Support and Corroboration [53.7810725714783]
  ポストトレーニングはタスクパフォーマンスを向上するが、信頼性の校正を低下させることがある。 タスク固有のラベル付きキャリブレーションデータは費用がかかるか利用できないため、対応する事前訓練言語モデル(PLM)は、ポストホックキャリブレーションのための自然なラベルなし参照を提供する。 ラベルのないポストホック法であるSupportCalを導入し,合意事例を単位重みで保持し,不一致事例を連続重みで割り当てる。
  論文  参考訳（メタデータ） (2026-09-21T09:02:41Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
  Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。 知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。 Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
  論文  参考訳（メタデータ） (2026-08-02T05:58:00Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。