論文の概要: Training Alignment Auditors via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.25460v1
• Date: Wed, 26 Aug 2026 07:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.645847
• Title: Training Alignment Auditors via Reinforcement Learning
• Title（参考訳）: 強化学習によるアライメントオーディタの訓練
• Abstract要約: 訓練は、植木行動のあるターゲットに対する調査品質を改善する。 未修正生産モデルで発生した行動の頻度と、偽陽性率は1%未満にとどまる一方、現実性を監査する。
• 参考スコア（独自算出の注目度）: 3.8159700062595143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment auditing of frontier models increasingly relies on LLM auditors to surface undesirable behaviors at scale, but current automated auditors can struggle with coherent investigation and audit realism. In this work, we improve LLM auditors with reinforcement learning. In our best training environment, the policy investigates target models that potentially possess hidden behaviors planted via their system prompt. An LLM judge, which knows whether the target has a hidden behavior, holistically compares the policy's investigation to a reference investigation to determine the reward. With systematic ablations, we find that pairwise rewards yield more robust training compared to pointwise rewards, and that adding targets without planted behaviors helps maintain a low false positive rate. Training improves investigation quality against targets with planted behaviors, the rate of concerning behaviors surfaced in unmodified production models, and audit realism, while false-positive rates stay below 1%. Furthermore, auditing capabilities generalize across scaffolds: performance on AuditBench's adversarially fine-tuned targets substantially improves [Sheshadri et al., 2026].
• Abstract（参考訳）: フロンティアモデルのアライメント監査は、LLM監査員が大規模に望ましくない行動を呈する傾向にあるが、現在の自動監査員はコヒーレントな調査と監査リアリズムに苦しむことがある。 本研究では,強化学習によるLLM監査を改良する。 ベストトレーニング環境では、システムプロンプトを介して植えられた隠れ行動を持つ可能性のあるターゲットモデルを調査する。 LLM判事は、ターゲットが隠れた行動を持っているかどうかを知っており、政策の調査と基準調査を比較して報酬を決定する。 体系的な改善によって、ペアワイズ報酬はポイントワイズ報酬よりもより堅牢なトレーニングをもたらし、植込み行動なしでターゲットを追加することは、偽陽性率の低い維持に役立ちます。 トレーニングは、植木行動のあるターゲットに対する調査品質の改善、修正されていない生産モデルで表面化された行動に関する速度、現実性を監査する一方、偽陽性率は1%以下である。 さらに,AuditBenchの対角的微調整目標の性能は[Sheshadri et al , 2026]を大幅に向上する。

関連論文リスト

• From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement [56.26277769790695]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、推論指向の大規模言語モデル(LLM)の最近の進歩を推進している。 本稿では、RLVRをオープンなタスクに拡張するためのタスク変換に基づくトレーニングパラダイムであるRLSVR(Reinforcement Learning with Self-Verifiable Rewards)を提案する。 ソーシャルデダクションゲームにインスパイアされた自己PlaY強化学習手法SpyRLでRTSVRをインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-26T19:04:33Z)
• LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks [89.13372484640392]
  LLM-as-a-JudgeからLLM-as-a-Coachへのフィードバックモデルを再利用した経験的学習(EL)を提案する。 ELは、保持された未確認のオープンエンドタスクにおいて、ルブリックベースのRLを一貫して上回る。 これらの知見は、検証不可能なタスクのポストトレーニングにおいて、より豊かでより一般化可能な学習信号として経験的知識を確立した。
  論文  参考訳（メタデータ） (2026-07-20T16:08:49Z)
• When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards [49.25249414962884]
  能動検証リワードを用いた強化学習(RLAVR)を提案する。 RLAVRは、少数のサンプルの接地木ラベルを積極的に取得し、擬似ラベルと統合する。 これに基づいて、RLAVR(CARE)の補正認識信頼性推定を導入する。
  論文  参考訳（メタデータ） (2026-05-25T13:55:12Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
  LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。 本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。 我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
  論文  参考訳（メタデータ） (2026-03-12T17:57:06Z)
• Unknown Unknowns: Why Hidden Intentions in LLMs Evade Detection [4.514361164656055]
  意図,メカニズム,文脈,影響によって編成された,隠された意図の10つのカテゴリの分類法を導入する。 我々は,理性判定や非理性判定を含む検出手法を体系的に評価する。 実世界の現実的な環境、特に低頻度条件下では、検出が崩壊することがわかった。
  論文  参考訳（メタデータ） (2026-01-26T14:59:17Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• The Alignment Auditor: A Bayesian Framework for Verifying and Refining LLM Objectives [8.030821324147515]
  逆強化学習は、行動から報酬関数を推測することができる。 既存のアプローチは、単一で自信過剰な報酬推定を生成するか、タスクの基本的な曖昧さに対処できないかのいずれかです。 本稿では,簡単な推定タスクから総合的な検証プロセスへ報酬推論を再構成する,原則的監査フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T16:25:14Z)
• Auditing language models for hidden objectives [26.85568746300155]
  本研究では,アライメント監査の実施可能性について検討する。 テストベッドとして、私たちは、隠れた目的を持った言語モデルをトレーニングします。トレーニングパイプラインはまず、RLHF報酬モデル(RM)の悪用可能なエラーについてモデルを教えます。 まず、4つのチームがモデルの隠れた目的やトレーニングを知らず、行動やその原因について調査する、盲目な監査ゲームを実施します。 3つのチームが、テクニックを含むテクニックを使って、モデルの隠れた目的を明らかにすることに成功した
  論文  参考訳（メタデータ） (2025-03-14T00:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。