論文の概要: Audit tools of the trade: Automated Auditor Elicitation Can Be Sensitive to the Context the Auditor Is Given
- arxiv url: http://arxiv.org/abs/2610.16911v1
- Date: Mon, 12 Oct 2026 14:57:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.391792
- Title: Audit tools of the trade: Automated Auditor Elicitation Can Be Sensitive to the Context the Auditor Is Given
- Title（参考訳）: 取引の監査ツール:監査人が与える文脈に敏感な自動監査
- Abstract要約: ペトリツールを用いて2種類のリソース(外部およびベンチマークスクリプト)を監査者に提供し、コーディングエージェントを監査する効果を検証した。
いずれのリソースも報酬のハッキングには一貫した影響は見つからないが、条件によって判断された振る舞いにはかなりのばらつきがある。
対象行動の測定速度が設定決定に非常に敏感であることから,ペトリなどのツールによる注意深いパイロットテストの重要性が評価された。
- 参考スコア（独自算出の注目度）: 1.951064112188991
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Does providing additional context to automated AI auditors improve their effectiveness? Using the Petri tool to audit LLM coding agents, we test the impact of providing two types of resources (an external codebase and benchmark transcripts) to LLM auditors, across four auditor-target LLM pairs and three behaviours (harmful compliance, reward hacking, sycophancy). (1) External codebase: We provide the auditor LLM with a fixed, external open source codebase, which prior work finds improves the realism of synthetic audits. Providing this resource suppresses reward hacking in both auditor-target pairs whose baseline rate is above the floor (4.8 to 1.3 and 3.9 to 1.8 on Petri's default 1-10 scale); the remaining two pairs sit at the floor throughout. The suppression recurs in three of four pairs under a different scenario and resource bundle. (2) External benchmark transcripts: We provide the auditor with transcripts of the target's performance on benchmarks measuring similar behaviours, intended to inform the auditor about the target's behavioural patterns. Providing this resource raises reward hacking scores in all four pairs (from 1.7 to 6.1 in one case). However, subsequent experiments show that supplying only the related benchmark's abstract, without transcripts, also increases reward hacking, and the effect is absent under a different framing of the same behaviour. Overall, we find no consistent effect of either resource outside reward hacking, but we find substantial variability in judge-scored behaviour across conditions. Our results underscore the importance of careful piloting with tools such as Petri, as the measured rate of target behaviour is highly sensitive to configuration decisions. We hope our results inspire more research into the reliability and robustness of automated alignment auditing.
- Abstract（参考訳）: 自動AI監査者に追加のコンテキストを提供することで、その効果は向上するだろうか?
Petri ツールを使用して LLM のコーディングエージェントを監査し、監査対象の LLM ペアと3つの動作(有害なコンプライアンス、報酬のハッキング、梅毒)で LLM 監査者に2種類のリソース(外部コードベースとベンチマークの書き起こし)を提供することの効果をテストする。
1) 外部コードベース: 先行研究により合成監査の現実性が改善された,固定された外部オープンソースコードベースを監査者 LLM に提供する。
このリソースを提供することで、床の上にベースラインレート(ペトリのデフォルトの1-10スケールで4.8から1.3と3.9から1.8)があるオーディターとターゲットの両方のペアの報酬ハッキングを抑える。
この抑制は、異なるシナリオとリソースバンドルの下で4つのペアのうち3つに再帰する。
2) 外部ベンチマークの書き起こし: 対象の行動パターンを監査者に通知する目的で, 類似の行動を測定するベンチマーク上で, 対象のパフォーマンスの書き起こしを行う。
このリソースを提供することで、4つのペアすべて(1つのケースで1.7から6.1まで)で報酬のハッキングスコアが上がる。
しかし、その後の実験では、関連するベンチマークの抽象的な部分のみをスクリプティングなしで供給することで、報酬のハッキングも増加し、同じ振る舞いの異なるフレーミングの下では効果が欠落していることが示されている。
全体としては、どちらのリソースも報酬のハッキングには一貫した影響は見つからないが、状況によって判断された振る舞いにはかなりのばらつきがある。
対象行動の測定速度が設定決定に非常に敏感であることから,ペトリなどのツールによる注意深いパイロットテストの重要性が評価された。
自動アライメント監査の信頼性と堅牢性に関するさらなる研究を期待する。
関連論文リスト
- Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。
それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。
カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
論文 参考訳（メタデータ） (2026-08-27T10:01:36Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。
ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
論文 参考訳（メタデータ） (2026-06-29T02:37:13Z) - Closing the Reflection Gap: A Free Calibration Bonus for Agentic RL [12.234169944475537]
RefGRPOは、標準的なRLアルゴリズムを2つの重要な要素で強化する、シンプルだが効果的な修正である。
エージェント自身の反射と実際の結果とを対比して計算した自由キャリブレーションボーナス。
結果の反射は、エージェントを環境フィードバックに基づく独自の検証器に変える。
論文 参考訳（メタデータ） (2026-06-12T07:47:15Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。
MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。
我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
論文 参考訳（メタデータ） (2026-04-13T15:18:51Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - AI Annotation Orchestration: Evaluating LLM verifiers to Improve the Quality of LLM Annotations in Learning Analytics [0.17240671897505613]
大規模言語モデル(LLM)は、学習相互作用の注釈付けにますます使われていますが、信頼性に関する懸念は彼らのユーティリティを制限します。
検証指向のオーケストレーション・プロンプティングモデルが自身のラベル(自己検証)をチェックしたり、相互に監査(相互検証)するかどうかを検証し、学習談話の質的コーディングを向上させるかを検証する。
論文 参考訳（メタデータ） (2025-11-12T22:35:36Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。