論文の概要: VERA: Verdict-Conditioned Reliability for Adaptive LLM Judges
- arxiv url: http://arxiv.org/abs/2610.05452v1
- Date: Sun, 04 Oct 2026 18:47:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 13:46:46.861504
- Title: VERA: Verdict-Conditioned Reliability for Adaptive LLM Judges
- Title（参考訳）: VERA: 適応LLM審査員の判断条件の信頼性
- Abstract要約: 本稿では,隠れたアクティベーションから信頼性を推定するVErdict- Conditioned Reliability Axisを提案する。
我々は、信頼性の高い修正更新、信頼性-残留リプレイ、信頼性方向の定期的なリフレッシュを統合したVERA誘導周期適応フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 2.4301213319577255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately estimating judgment reliability is a central challenge in adapting LLM judges to newly verified feedback while preserving previously learned behavior. However, existing approaches often rely on output-level confidence, which can be overconfident and poorly aligned with judgment correctness. We propose VERA, a VErdict-conditioned Reliability Axis that estimates reliability from hidden activations by distinguishing correct from incorrect judgments within each predicted-verdict group. Using VERA as a control signal, we develop a VERA-guided periodic adaptation framework that integrates reliability-ranked corrective updates, reliability-residual replay, and periodic refresh of the reliability directions. After VERA-guided adaptation on Chatbot Arena, 8B- and 14B-parameter judges outperform the strongest baseline on each of four held-out public benchmarks, with relative gains of up to 23.01%. The framework also improves focal-class recall by up to 16.1% relative to the strongest adaptive baselines on a separate proprietary temporal auditing task.
- Abstract（参考訳）: 判断信頼性を正確に推定することは、LLM審査員が事前に学習した行動を保ちながら、新たに検証されたフィードバックに適応する上で重要な課題である。
しかし、既存のアプローチは、しばしば出力レベルの信頼に頼り、過度に信頼され、判断の正確さに不適合である。
本稿では,予測された各グループ内の誤判定を識別することで,隠れたアクティベーションから信頼性を推定するVErdict- Conditioned Reliability AxisであるVERAを提案する。
制御信号としてVERAを用いることで、信頼性の高い修正更新、信頼性-残留リプレイ、信頼性方向の定期的なリフレッシュを統合できるVERA誘導周期適応フレームワークを開発する。
VERAによるChatbot Arenaへの適応の後、8Bと14Bのパラメータは4つの公開ベンチマークで最強のベースラインを上回り、相対利得は23.01%に達した。
このフレームワークはまた、個別の時間監査タスクにおける最強適応ベースラインに対して、焦点クラスリコールを最大16.1%改善する。
関連論文リスト
- SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。
しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。
本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
論文 参考訳（メタデータ） (2026-04-25T14:40:13Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Overconfidence in LLM-as-a-Judge: Diagnosis and Confidence-Driven Solution [20.607071807794195]
大規模言語モデル(LLM)は自動化された判断として広く使われており、実際的な価値は正確さと信頼性の高いリスク認識の判断の両方に依存する。
既存のアプローチは主に正確さに焦点を合わせ、よく校正された信頼の必要性を見越す。
我々は、精度中心の評価から信頼性駆動型、リスク対応型LCM-as-a-Judgeシステムへの移行を提唱する。
論文 参考訳（メタデータ） (2025-08-08T11:11:22Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳（メタデータ） (2025-05-28T20:22:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。