論文の概要: Simulated Control Evals

• arxiv url: http://arxiv.org/abs/2610.31593v1
• Date: Thu, 22 Oct 2026 17:26:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.497283
• Title: Simulated Control Evals
• Title（参考訳）: シミュレーション制御方程式
• Abstract要約: 制御評価は、安全ガードがAIモデルが望ましくない結果を引き起こすのを防ぐことができるかどうかを測定する。 環境に代えてツール応答をシミュレートする言語モデルを用いたシミュレーション制御評価(SCE)を導入する。 我々は、SCE予測エラーを、別個の制御設定であるBashArenaと、LinuxArena内の制御メトリクスの変化と比較する。
• 参考スコア（独自算出の注目度）: 13.12010738754583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their results to a model's deployment. However, the effectiveness of safeguards in deployment can depend on features of environments and tasks that control settings do not represent. To broaden where control evaluations can be run, we introduce simulated control evaluations (SCEs), which use a language model to simulate tool responses in place of an environment. We evaluate SCEs on LinuxArena, where execution provides ground-truth outcomes. We compare SCE prediction errors with those from a separate control setting, BashArena, and with variation in control metrics within LinuxArena. For independently sampled evaluation and deployment task sets, SCEs predict safety with a root mean squared error of 3.6 percentage points across five monitors at a 5% audit budget, compared with 10.1 for BashArena. SCEs closely reproduce distributions of attack strategies, attacker reasoning, and monitor reasoning, with over tenfold lower KL divergence from execution than BashArena. SCEs explain 78-85% of the between-environment variance in attack success, monitor scores, and safety. This accuracy is sample efficient: SCEs predict safety with less error than BashArena using fewer than 5% as many task-pair draws as the deployment task set. Strategies discovered through simulation also improve monitor performance on held-out LinuxArena attacks, outperforming BashArena and approximately matching improvement from executed strategies. These results suggest that deployment-specific SCEs can be more predictive than control evaluations executed in separate control settings.
• Abstract（参考訳）: 制御評価は、意図的にそうしようとする場合でも、AIモデルが望ましくない結果を引き起こすのを防ぐことができるかどうかを測定する。 これらの評価は、通常、目的に構築された制御設定を使用して、結果をモデルのデプロイに外挿する。 しかしながら、デプロイにおけるセーフガードの有効性は、環境の特徴や、設定を制御できないタスクに依存します。 制御評価の実施範囲を広げるために,言語モデルを用いて環境に代えてツール応答をシミュレートするシミュレートされた制御評価(SCE)を導入する。 我々はLinuxArena上でSCEを評価する。 我々は、SCE予測エラーを、別個の制御設定であるBashArenaと、LinuxArena内の制御メトリクスの変化と比較する。 個別に評価と配置のタスクセットをサンプリングするために、SCEは、BashArenaの10.1と比較して、5つのモニターで3.6ポイントのルート平均二乗誤差で安全性を予測している。 SCEは攻撃戦略、攻撃的推論、監視的推論の分布を密に再現し、BashArenaよりも10倍以上低いKL分散を達成している。 SCEは、攻撃の成功、スコアの監視、安全における環境間の差異の78～85%を説明している。 SCEはBashArenaよりもエラーの少ない安全性を、デプロイタスクセットとして多くのタスクペアが引き出す5%未満で予測します。 シミュレーションによって発見された戦略は、ホールドアウトされたLinuxArena攻撃の監視性能を改善し、BashArenaより優れ、実行中の戦略とほぼ一致する。 これらの結果は、個別の制御設定で実行される制御評価よりも、デプロイメント固有のSCEがより予測可能であることを示唆している。

関連論文リスト

• RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents [60.204279574159045]
  RealControlBench は LLM および LLM エージェントのきめ細かいステアリングを評価するための総合的なベンチマークである。 分離された世代を超えて、複雑な実行基盤を持つマルチターンエージェントインタラクションまで、ステアリング評価を拡張する。 迅速なバリエーション、ドメイン、モデルアーキテクチャにまたがって、ステアリング効果が具体的かつ堅牢であるかどうかを調べる。
  論文  参考訳（メタデータ） (2026-10-19T21:10:03Z)
• Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures [4.287745257410248]
  我々は、400の総合医療ワークフローエピソードとしてエピソードレベルの評価プロトコルをインスタンス化する。 4つのタスククラスに40個の手書きセマンティックシード、2つの表面パラメータ化、5つの制御された変種。 明確な決定精度は0.97に達するが、不確実性のあるモデルでは、必要なエスカレーションの32--97%を見逃している。
  論文  参考訳（メタデータ） (2026-10-15T05:04:10Z)
• How Benchmarks Mis-Score Computer-Use Agents [12.455546989850227]
  タスク構築、軌道観測、スコアリング、レポートにまたがる信頼性フレームワークに問題を整理する。 我々は,5つのWeb,エンタープライズワークフロー,デスクトップ制御ベンチマークから,150のパブリックな障害対応トラジェクトリを監査する。 真の失敗については、3階層の診断分類では、検証/フィードバックと計画失敗が実行/グラウンドエラーを支配していることを示している。
  論文  参考訳（メタデータ） (2026-07-30T15:29:42Z)
• ALLUDE: A Unified Evaluation System for Configurable Attacks in Differentiable Environments [57.11645440673911]
  物体検出器のような視覚モデルに対するアドリアック攻撃は、しばしば限られた条件下で評価され、その性能は過小評価される。 ALLUDEはLinuxとWindowsにまたがって第一種評価機能を提供する。
  論文  参考訳（メタデータ） (2026-07-19T05:02:58Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Computer Use at the Edge of the Statistical Precipice [19.604476051265852]
  記録されたアクションシーケンスを盲目的に実行した1MBのリプレイスクリプトは、顕著な静的ベンチマークにおいてフロンティアモデルよりも優れていることを示す。 非原則的環境設計と非原則的評価手法の2つの根本原因を追究する。
  論文  参考訳（メタデータ） (2026-05-07T22:43:43Z)
• LinuxArena: A Control Setting for AI Agents in Live Production Software Environments [11.33890221858001]
  LinuxArenaは、エージェントが実運用環境で直接動作するコントロール設定である。 LinuxArenaには、20の環境、正統なソフトウェアエンジニアリング作業を表す1,671のメインタスク、安全障害を表す184のサイドタスクが含まれている。 我々は、LinuxArenaがサボタージュ評価を実行し、サボタージュ試行を検知するモニターモデルの能力を測定することで、制御研究に有用であることを検証した。
  論文  参考訳（メタデータ） (2026-04-16T03:01:11Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
  AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。 このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
  論文  参考訳（メタデータ） (2026-01-14T23:06:35Z)
• Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions [51.8695223602729]
  機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。 本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。 psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
  論文  参考訳（メタデータ） (2021-04-22T14:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。