論文の概要: Correlated Failures of AI Approval Monitors
- arxiv url: http://arxiv.org/abs/2610.29178v1
- Date: Wed, 21 Oct 2026 04:09:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.229933
- Title: Correlated Failures of AI Approval Monitors
- Title（参考訳）: AI承認モニターの関連障害
- Abstract要約: 悪いアクションを実行せず、良いアクションをブロックしない場合、ルールは安全です。
説得できないルールエンジンは、測定された攻撃に対する安全で生きたルールの条件を回復する。
入力を多様化し、モニターを強化し、ソースを数え、投票しない。
- 参考スコア（独自算出の注目度）: 0.7252027234425333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Before an AI agent takes a consequential action, such as paying, messaging or changing code, several monitors check it. Their verdicts are combined by aggregating scores or by counting approvals, whatever inputs the monitors share. Monitors that share a base model or a poisoned input, however, may fail together. We borrow the fail-prone systems of distributed computing: lists of monitor sets that may fail together. A rule is safe if it executes no bad action and live if it blocks no good one. We measured twelve small open-weights monitors on payment approval under two pre-registered protocols. Without pre-registration, we also measured three closed frontier models (Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon) and the open DeepSeek-V3.2. Every reliable fooling of a monitor into approving a fraud came through an evidence source and reached only that source's readers. Fooling it into blocking a correct payment depended on injection resistance, a monitor's refusal to follow instructions planted in its data. Small models and DeepSeek obeyed such notes. The three closed models ignored them in all but one case, and Opus also resisted persuasion tailored to it. On new data, a rule that counts sources instead of votes blocked 0.9% of correct payments, against 7.4% for the best counting rule, at equal safety. The pre-registered worst-case test failed. One attack left the approvers on a single source, so no rule over the twelve language-model monitors survives every measured attack. Adding a rule engine, which cannot be persuaded, restored the condition for a safe and live rule on the measured attacks. Diversify the inputs, harden the monitors, count sources, not votes.
- Abstract（参考訳）: AIエージェントが支払い、メッセージング、コードの変更といった一連のアクションを行う前に、いくつかのモニタがそれをチェックする。
彼らの判断は、スコアを集計したり、承認を数えたり、モニタが共有するインプットをカウントすることによって組み合わせられる。
しかし、ベースモデルや有毒な入力を共有するモニターは、一緒に失敗する可能性がある。
分散コンピューティングのフェールが発生しやすいシステム:一緒にフェールする可能性のあるモニタセットのリストを借用します。
悪いアクションを実行せず、良いアクションをブロックしない場合、ルールは安全です。
登録済みの2つのプロトコルで,12個の小型オープンウェイトモニターの支払い承認を計測した。
事前登録なしでは、3つの閉じたフロンティアモデル(Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon)とオープンなDeepSeek-V3.2も測定した。
監視官を騙して詐欺を承認すると、証拠の出所からその情報源の読者にしか届かなかった。
正しい支払いをブロックするには、インジェクション抵抗に依存するが、モニターはそのデータに埋め込まれた指示に従うことを拒否する。
小型モデルとDeepSeekはそのようなメモに従った。
3つの閉じたモデルは1つのケースを除いて全て無視され、オプスもそれに合わせて説得に抵抗した。
新たなデータでは、投票ではなくソースをカウントするルールが、正しい支払いの0.9%をブロックし、ベストカウントルールの7.4%を同じ安全性でブロックした。
登録済みの最悪のケーステストは失敗した。
1つの攻撃で承認者が1つのソースに残されるため、12の言語モデルモニターに対するルールは、測定された攻撃のたびに生き残ることはない。
説得できないルールエンジンを追加すると、測定された攻撃に対する安全で生きたルールの条件が回復する。
入力を多様化し、モニターを強化し、ソースを数え、投票しない。
関連論文リスト
- hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - Runtime Assurance Under Measurement Attack: Necessary and Sufficient Observability Conditions for Learned Control in Radio Access Networks [0.0]
停止保証は、信頼できないコントローラとスイッチングモニタと検証済みのフォールバックをペアリングする。
この保証は、植物が2q$-sparseオブザーバブルである場合に限り、$q$チャネルを制御する敵に生存する。
ランクテストは予算を決定し、識別はそれを保持しないので、公表された予算はそのマージンフロアを名付けなければならない。
論文 参考訳（メタデータ） (2026-09-25T04:03:05Z) - More Rejective, Not More Discriminative: The Unit of Verification in Pre-Execution LLM Oversight [3.8564927363194754]
事前実行監視は、AI制御における信頼できる監視のコアとなる。
既存の設計ではユニットが与えられており、フェールブルモニターに対する効果は計り知れない。
私たちのフレームワークは、この選択のために制御され、事前登録された最初の楽器であり、キャッチのみを読み取ることはありません。
論文 参考訳（メタデータ） (2026-08-25T00:59:55Z) - Decorrelation Is Not Complementarity: Skill, Not Lineage, Governs Trusted-Monitor Ensembles [0.0]
本研究では,9系統にまたがる24個のオープンウェイトモニターと29倍の検知技術について検討した。
一致したメンバー能力では、クロスラインのパネルは良くない。
相関重み付けされた選択は、サンプルから最高のモニターを選ばない。
論文 参考訳（メタデータ） (2026-08-17T07:10:56Z) - A False Average: Chain-of-Thought Monitors Collapse Where They Are the Only Defense [1.0742675209112622]
CoT(Chain-of- Thought)モニタリングは、アクションできれいに見える報酬のハックをキャッチし、推論でのみ自分自身を裏切ることを目的としている。
ここでは、理屈をコントロールしている敵が、まさにそれを倒せる場所であることを示す。
論文 参考訳（メタデータ） (2026-08-01T10:42:41Z) - Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages [0.7252027234425333]
我々は、信頼できない政策家族を制御軸とし、家族間のAUROCを、各家族のサボタージュがいかに明白であるかに分解する。
コードバックドアの書き起こしでは、相互作用は肯定的であり、支配的なコンファウンドを生き残る。
ギャップに作用する4段階のプロトコルを,各ステップで測定結果を出力する。
論文 参考訳（メタデータ） (2026-07-06T22:40:07Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。
動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。
我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
論文 参考訳（メタデータ） (2025-09-30T13:32:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。