論文の概要: Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures

• arxiv url: http://arxiv.org/abs/2609.29429v1
• Date: Thu, 24 Sep 2026 11:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.898688
• Title: Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
• Title（参考訳）: Just Ask Jev: AIアライメント障害のゼロショット検出者としての校正決定のための強化学習
• Abstract要約: Jevは、校正された決定のために強化学習で訓練されたモデルである。 1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。 薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
• 参考スコア（独自算出の注目度）: 33.047894767530174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detectors of alignment failures screen deployed language models and score alignment benchmarks. Most are generative judges that spend a decoding pass on every criterion, and classifiers that read token probabilities, such as Llama Guard, still score one fixed label per call. Jev, a model trained with reinforcement learning for calibrated decisions (RLCD), answers many typed questions about one input with calibrated probabilities in a single call. Whether it detects alignment failures has not been measured. We present RLCDAlignBench, which benchmarks Jev on ten alignment failures: sycophancy, jailbreaks, deception, prompt injection, hallucination, privacy violation, social bias, reward hacking, concealing uncertainty, and power seeking. It spans 44 benchmarks and five target models, labelled by each benchmark's scorer and, on two, by humans. Many of these failures are relational, defined against a reference, such as the user's belief or an injected instruction, that the response alone does not reveal. Our key idea is therefore to vary what Jev is asked separately from what it sees: the question's wording and answer type on one side, the fields of the input on the other. A single generic question reaches a median AUROC of 0.886 zero-shot and beats supervised baselines on most benchmarks. Question wording matters little, while context matters more, mostly through fields that encode the label. Jev matches the reference scorer's agreement with human labels, surfaces label defects in existing benchmarks, and costs 63x less than LLM-judge scorers. Code and data: https://github.com/sumleo/RLCDAlignBench.
• Abstract（参考訳）: アライメント障害の検出者は、デプロイされた言語モデルとスコアアライメントベンチマークをスクリーニングする。 多くの場合、デコードパスをすべての基準に費やしている生成的判断者であり、Llama Guardのようなトークン確率を読み取る分類器は、コール毎に1つの固定ラベルをスコア付けしている。 校正決定のための強化学習(RLCD)を訓練したモデルであるJevは、1回の呼び出しで校正確率を持つ入力について多くの型付き質問に答える。 アライメント障害を検出するかどうかは測定されていない。 RLCDAlignBenchは、幻覚、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークする。 44のベンチマークと5つのターゲットモデルにまたがっており、各ベンチマークのスコアラーと2つの人間によってラベル付けされている。 これらの障害の多くはリレーショナルであり、ユーザの信念やインジェクションのような参照に対して定義されている。 それゆえ、我々のキーとなる考え方は、Jevが目にするものから、質問のワードと回答のタイプ、もう一方の入力のフィールドとを別々に問うことである。 単一の一般的な質問は、0.886ゼロショットの中央値AUROCに達し、ほとんどのベンチマークで教師付きベースラインを破る。 質問の文言はほとんど重要ではなく、コンテキストはラベルをエンコードするフィールドによってより重要になる。 Jevは、基準スコアラと人間のラベルとの合意を一致させ、既存のベンチマークでラベルの欠陥を表面化し、LCM-judgeスコアラよりも63倍安くする。 コードとデータ:https://github.com/sumleo/RLCDAlignBench.com

関連論文リスト

• How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification [79.91711484993074]
  ほとんどの信頼性キャリブレーション指標はバイナリやマルチクラスのタスクを対象としていますが、マルチラベルキャリブレーションは未検討のままです。 ラベルに期待されるキャリブレーション誤差を計算するための既存のバイナリスキームは、誤りを過小評価するか、単にラベル周波数を反映するか、あるいは非常に少ないインスタンスで多くのビンに悩まされているかを示す。 本稿では,正と負のラベルの割り当てに等しい重みを与える新しいビンニング手法を提案する。
  論文  参考訳（メタデータ） (2026-09-22T14:15:54Z)
• Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks [2.4035041353107673]
  我々はAIスキャナーを開発し、真実へのアクセス、ツールの故障、脆弱性の推測、回答フォーマットのあいまいさの4つの種類の妥当性問題を検出する。 我々のスキャナーは5つの広く使用されているベンチマークにおいて、ランダムな手動検査で捉えられないケースを含む、いくつかの検証された品質問題を特定した。
  論文  参考訳（メタデータ） (2026-07-29T23:17:08Z)
• What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks [25.519850997497283]
  短解VQAベンチマークは2つの異なる量を説明する。 我々は、人間公認のセマンティック・ジャッジを使用して37k以上の公式エラーを監査する。
  論文  参考訳（メタデータ） (2026-07-11T10:01:29Z)
• Gate AI: LLM Security Benchmark Evaluation Methodology and Results [0.0]
  本稿では,データセットごとのしきい値調整と未開示動作点に対処する評価ハーネスについて述べる。 評価中の検出器は5倍のクロスバリデーションを用いて16の公開ベンチマークで評価される。 外部比較において、検出器の閾値は、競合が公表した偽陽性率に再調整される。
  論文  参考訳（メタデータ） (2026-06-01T23:29:58Z)
• A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test [0.0]
  RAGにおけるLCM-as-a-judge比較の最小基準を提案する。 標準ではトップ100候補プール、エビデンス予算、回答上限、ジェネレータ、プロンプトが修正されている。 また、事前登録された仮説、クラスタ認識推論、実行可能時の正確なクラスタサイン-フリップチェック、第2ジャッジレプリケーションも必要である。
  論文  参考訳（メタデータ） (2026-05-27T00:12:02Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。