論文の概要: Simple Features Beat Most AI Control Monitors

• arxiv url: http://arxiv.org/abs/2610.41713v1
• Date: Fri, 30 Oct 2026 13:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.755767
• Title: Simple Features Beat Most AI Control Monitors
• Title（参考訳）: シンプルな機能がAIコントロールモニターに勝る
• Abstract要約: 単純な機能がコードを実行せずにほとんどのモニタを上回り、モニターとして推奨される24のオープンウェイトモデルのうち20を上回ります。 このようなショートカットは公開されていないが、そのようなデータセットに対する高いスコアは、それ自体がサボタージュ検出の証拠ではないことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI control relies on monitors to catch a capable model that sabotages its work. These monitors are evaluated on their ability to differentiate honest from backdoored code. We show that on a standard evaluation dataset, simple features beat most monitors without ever running the code, outranking 20 of 24 open-weight models prompted as monitors. The dataset gives its labels away in two ways. People wrote the honest solutions and older language models the backdoors, so the style of the code reveals the class. Additionally, problems that LLMs can backdoor have different characteristics, so basic facts about the problem reveal it too. Swapping one class at a time for code by Claude Sonnet 5 shows that these features reward a contrast between authors, since human code against Sonnet 5's backdoors is easier to separate than the original pairs, 0.95 against 0.79. One in seven backdoors in the standard test set fails our validity checks, which distorts comparisons between attackers. A Sonnet 5 monitor appears to catch 77% of the older models' backdoors but 37% of Sonnet 5's, and 78% against 61% once both are verified. We do not show that published monitors rely on these shortcuts, but our findings suggest that a high score on such a dataset is not by itself evidence of sabotage detection. We release the rebuilt dataset and checks.
• Abstract（参考訳）: AIコントロールは、その作業を妨害する有能なモデルをキャッチするために、モニターに依存している。 これらのモニターは、バックドアのコードと正直に区別する能力に基づいて評価される。 標準的な評価データセットでは、単純な機能がコードを実行せずにほとんどのモニタを上回り、モニターとしてトリガーされた24のオープンウェイトモデルのうち20を上回ります。 データセットはラベルを2つの方法で除去する。 人々は正直なソリューションを書き、古い言語モデルがバックドアであるので、コードのスタイルがクラスを明らかにします。 加えて、LLMがバックドアできる問題には異なる特徴があるため、この問題に関する基本的な事実も明らかである。 Claude Sonnet 5 のコードで一度に1つのクラスをスワップすると、Sonnet 5 のバックドアに対する人間のコードはオリジナルのペアよりも分離しやすく、0.95 対 0.79 である。 標準テストセットのバックドアの7つに1つが、アタッカー間の比較を歪めるバリデーションチェックに失敗する。 Sonnet 5モニターは古いモデルのバックドアの77%を占めるが、Sonnet 5の37%、Sonnet 5の61%に対して78%が認証されている。 このようなショートカットは公開されていないが、そのようなデータセットに対する高いスコアは、それ自体がサボタージュ検出の証拠ではないことを示唆している。 再構築されたデータセットとチェックをリリースします。

関連論文リスト

• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• A False Average: Chain-of-Thought Monitors Collapse Where They Are the Only Defense [1.0742675209112622]
  CoT(Chain-of- Thought)モニタリングは、アクションできれいに見える報酬のハックをキャッチし、推論でのみ自分自身を裏切ることを目的としている。 ここでは、理屈をコントロールしている敵が、まさにそれを倒せる場所であることを示す。
  論文  参考訳（メタデータ） (2026-08-01T10:42:41Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
  トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
  論文  参考訳（メタデータ） (2025-05-29T02:22:14Z)
• Planting Undetectable Backdoors in Machine Learning Models [14.592078676445201]
  悪意ある学習者が検出不能なバックドアを分類器に組み込む方法を示す。 適切な"バックドアキー"がなければ、そのメカニズムは隠され、計算に拘束されたオブザーバによって検出できない。 検出不能なバックドアを植え付けるための2つのフレームワークを示す。
  論文  参考訳（メタデータ） (2022-04-14T13:55:21Z)
• Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks [46.99548490594115]
  バックドア攻撃は、バックドアパターンをトレーニングデータのごく一部に注入することにより、バックドアを被害者モデルにインストールする。 被害者モデルにバックドアとして反射を植え付けるための反射バックドア(Refool)を提案する。 Refoolは最先端のDNNを高い成功率で攻撃することができる。
  論文  参考訳（メタデータ） (2020-07-05T13:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。