論文の概要: Judging the Justification: Decision Certificate Supervision for Generative Reward Models

• arxiv url: http://arxiv.org/abs/2610.27528v1
• Date: Tue, 20 Oct 2026 02:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.591461
• Title: Judging the Justification: Decision Certificate Supervision for Generative Reward Models
• Title（参考訳）: 正当性判断:生成的リワードモデルのための決定証明書スーパービジョン
• Abstract要約: 生成報酬モデル(GenRM)は、嗜好判断を正当化するために自然言語の理性を生成する。 既存のアプローチは、しばしば論理学を監督するために参照説明に依存している。 提案するDeCertは,生成した合理性の妥当性と妥当性を評価するフレームワークである。
• 参考スコア（独自算出の注目度）: 25.938387939236776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative reward models (GenRMs) generate natural language rationales to justify preference judgments, yet a correct verdict does not guarantee a sound justification. Existing approaches often rely on reference explanations to supervise rationales, but obtaining such references can be costly and does not necessarily establish whether generated rationales support the resulting verdict. To address these limitations, we propose DeCert, a framework that evaluates the validity and verdict consistency of generated rationales without requiring reference explanations. Crucially, DeCert translates these assessments into preference supervision that accounts for both verdict correctness and justification quality. In particular, when multiple sampled judgments share the same correct verdict, differences in certificate quality enable DeCert to construct rationale preference pairs that distinguish stronger from weaker justifications. Extensive empirical studies across two model families and multiple in- and out-of-distribution benchmarks demonstrate that DeCert consistently outperforms strong generative judge baselines while improving rationale quality. Moreover, DeCert effectively mitigates positional bias, improving position-consistent accuracy by up to 14.8 points. These results highlight the importance of supervising not only which verdict is correct, but also how that verdict is justified.
• Abstract（参考訳）: 生成的報酬モデル(GenRM)は、選好判断を正当化するために自然言語の有理性を生成するが、正しい判断は音の正当性を保証しない。 既存のアプローチは、しばしば有理学を監督するために参照説明に依存するが、そのような参照を得るにはコストがかかり、生成された有理学が結果の判断を支持するかどうかを必ずしも決定しない。 これらの制約に対処するために,提案するフレームワークであるDeCertを提案する。 重要な点として、DeCertはこれらの評価を、判断の正しさと正当性の両方を考慮に入れた優先的な監督に翻訳する。 特に、複数のサンプリングされた判断が同じ正しい判断を共有している場合、証明書の品質の違いにより、DeCertはより弱い正当化と区別する合理的な選好ペアを構築することができる。 2つのモデルファミリーと複数のイン・オブ・アウト・オブ・ディストリビューション・ベンチマークにわたる広範な実証研究により、DeCertは、合理的な品質を改善しながら、強い生成的判断基準を一貫して上回っていることが示された。 さらに、DeCertは位置バイアスを効果的に軽減し、位置一貫性の精度を最大14.8ポイント向上させる。 これらの結果は、どの評定が正しいかだけでなく、その評定の正当性を監督することの重要性を強調している。

関連論文リスト

• When to Rethink: Learning Multi-Perspective Self-Verification for Vision-Language Models [44.09070184181025]
  自己検証は、外部の判断に頼ることなく、回答の信頼性を向上させる実践的な方法を提供する。 既存の方法は通常、単一の検証基準または固定プロンプトに依存し、不完全で不安定な信頼性推定をもたらす。 textbfMulti-View Self-VerificatitextbfOn witextbfTh ReltextbfIability-Guided SelectitextbfVE Rethinking framework for reliable multimodal reasoning。
  論文  参考訳（メタデータ） (2026-10-04T15:08:07Z)
• Is This Evidence Decision-Critical? Learning to Verify Rule-Governed Decisions [18.755285586873974]
  ルールに基づく推論では、言語モデルが個々の条件に対する証拠を評価し、明確な規則の下で判断を組み合わせる必要がある。 本稿では,ルール統治決定における証拠批判の事実検証を可能にする,インターベンションに基づくImPACT学習フレームワークを提案する。 InterPactは68.28%の精度で6つのベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-09-30T12:26:39Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Justified or Just Convincing? Error Verifiability as a Dimension of LLM Quality [24.614192550852277]
  モデル生成の正当化が、ユーザーが正しい回答を正しく区別するのに役立つかどうかに関して、標準的な手段は存在しない。 我々は、このアイデアを誤り検証可能性として形式化し、正当性によってレーダが解答正当性を正確に評価できるかどうかを測るバランスの取れた指標である$v_textbal$を提案する。 本稿では, 数学的推論のためのリフレクション・アンド・リフレーズ (RR) と, 事実QAのためのオラクル・リフレーズ (OR) の2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-04-06T04:53:59Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing [1.5954459915735735]
  アプリケーション・アンダー・テスト(AUT)の指示型は、判断評価の安定性にどの程度影響しますか? Scoped Instruction Decomposition Frameworkを導入し、AUT命令を客観型と主観型に分類し、判断の不安定性を誘導する要因を分離する。 以上の結果から,検証安定性と推論安定性の相違を特徴とする安定性トラップ'が明らかになった。
  論文  参考訳（メタデータ） (2026-01-16T21:15:13Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。