論文の概要: Combining Cost-Constrained Runtime Monitors for AI Safety

• arxiv url: http://arxiv.org/abs/2507.15886v2
• Date: Mon, 04 Aug 2025 03:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.647083
• Title: Combining Cost-Constrained Runtime Monitors for AI Safety
• Title（参考訳）: AI安全性のためのコスト制約付きランタイムモニタの組み合わせ
• Authors: Tim Tian Hua, James Baskerville, Henri Lemoine, Mia Hopman, Aryan Bhatt, Tyler Tracy,
• Abstract要約: ランタイムモニタを単一の監視プロトコルに組み合わせる方法について検討する。 我々のフレームワークは、望ましくない振る舞いを検出するために既存のモニターを組み合わせるための原則化された方法論を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monitoring AIs at runtime can help us detect and stop harmful actions. In this paper, we study how to combine multiple runtime monitors into a single monitoring protocol. The protocol's objective is to maximize the probability of applying a safety intervention on misaligned outputs (i.e., maximize recall). Since running monitors and applying safety interventions are costly, the protocol also needs to adhere to an average-case budget constraint. Taking the monitors' performance and cost as given, we develop an algorithm to find the most efficient protocol. The algorithm exhaustively searches over when and which monitors to call, and allocates safety interventions based on the Neyman-Pearson lemma. By focusing on likelihood ratios and strategically trading off spending on monitors against spending on interventions, we more than double our recall rate compared to a naive baseline in a code review setting. We also show that combining two monitors can Pareto dominate using either monitor alone. Our framework provides a principled methodology for combining existing monitors to detect undesirable behavior in cost-sensitive settings.
• Abstract（参考訳）: AIを実行時に監視することは、有害なアクションを検出し、阻止するのに役立ちます。 本稿では,複数のランタイムモニタを単一の監視プロトコルに組み合わせる方法について検討する。 このプロトコルの目的は、不正な出力(すなわち、最大リコール)に安全介入を適用する確率を最大化することである。 監視と安全介入の実施はコストがかかるため、プロトコルは平均的な予算制約にも従わなければならない。 モニタの性能とコストを考慮し,最も効率的なプロトコルを見つけるアルゴリズムを開発した。 このアルゴリズムは、Neyman-Pearsonの補題に基づいて、いつ、どの監視を行うかを徹底的に検索し、安全介入を割り当てる。 可能性の比率に焦点をあてて、介入に対する支出に対するモニターの支出を戦略的に取り除くことで、コードレビュー設定の単純なベースラインと比較して、リコール率を2倍以上にします。 また、2つのモニターを組み合わせることで、Paretoがいずれのモニターも支配できることを示す。 当社のフレームワークは、既存のモニタを組み合わせて、コスト感受性の設定における望ましくない振る舞いを検出するための、原則化された方法論を提供する。

関連論文リスト

• Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.79426562762656]
  CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。 我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。 CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
  論文  参考訳（メタデータ） (2025-07-15T16:43:41Z)
• When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors [10.705880888253501]
  CoT(Chain-of- Thought)モニタリングは、AIの安全性を擁護するものだ。 この「不信」に関する最近の研究は、その信頼性に疑問を呈している。 重要な特性は忠実さではなく監視性である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-07-07T17:54:52Z)
• Monitoring Robustness and Individual Fairness [7.922558880545528]
  デプロイされたブラックボックスAIモデルのインプット・アウトプット・ロバスト性のランタイムモニタリングを提案する。 そこで本研究では, 固定半径近傍の探索問題 (FRNN) として, 監視問題をキャストできることを示す。 いくつかの軽量モニタを提供するツールであるClemontを紹介します。
  論文  参考訳（メタデータ） (2025-05-31T10:27:54Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• CP-Guard+: A New Paradigm for Malicious Agent Detection and Defense in Collaborative Perception [53.088988929450494]
  協調知覚(CP)は、安全で自律的な運転のための有望な方法である。 本稿では,悪意のあるエージェントを機能レベルで効果的に識別する,悪意のあるエージェント検出のための新しいパラダイムを提案する。 また,CP-Guard+と呼ばれる堅牢な防御手法を開発し,良性の表現と悪質な特徴とのマージンを高める。
  論文  参考訳（メタデータ） (2025-02-07T12:58:45Z)
• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)
• Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring [6.8734954619801885]
  実行時モニタリングは、推論中に安全でない予測を拒否するために必須である。 安全と安全でない予測の分布の分離性を最大化する拒絶スコアを確立するために様々な技術が出現している。 実世界のアプリケーションでは、効果的なモニターは、これらのスコアを意味のあるバイナリ決定に変換するための適切なしきい値を特定する必要がある。
  論文  参考訳（メタデータ） (2024-05-14T14:32:58Z)
• Near-Optimal Multi-Agent Learning for Safe Coverage Control [76.99020416197631]
  マルチエージェントのカバレッジ制御問題では、エージェントは環境をナビゲートして、ある密度のカバレッジを最大化する位置に到達する。 本稿では,エージェントの安全性を保ちながら,その密度を効率よく学習し,カバレッジ問題を概ね解決することを目的とする。 まず、安全を確実に保証しながら、有限時間で最適範囲に近づいた結果を挙げる。
  論文  参考訳（メタデータ） (2022-10-12T16:33:34Z)
• Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
  我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。 本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。