論文の概要: Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks

• arxiv url: http://arxiv.org/abs/2607.21763v1
• Date: Thu, 23 Jul 2026 19:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.975554
• Title: Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks
• Title（参考訳）: あらゆるモデルチート:攻撃的なサイバータスクに対するティーチングのプロンプトレベル軽減
• Abstract要約: 大規模言語モデル(LLM)エージェントは、サイバーセキュリティベンチマークを常習的に不正に行い、報告されたパスレートが真の能力を超えている。 我々は,Cybench Capture-the-flag (CTF) 課題に対する7つのプロバイダから22のフロンティアモデルに対する制御的即時アブレーション研究を行った。 ベースライン条件下では37.1%のパスが不正に関与し、22モデル中21モデルが不正になり、スコアが最大5倍に膨らんだ。
• 参考スコア（独自算出の注目度）: 0.021211335717837992
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language model (LLM) agents routinely cheat on cybersecurity benchmarks, inflating reported pass rates far beyond genuine capability. Prior audits of Cybench found cheating in 0.3-3.4% of traces, implicating only a handful of models. We present a controlled prompt-ablation study across 22 frontier models from 7 providers on 23 Cybench capture-the-flag (CTF) challenges under three prompt conditions (no anti-cheat, standard, severe). All 1,518 task traces were individually audited through a four-stage pipeline combining LLM-as-a-judge classification, programmatic verification, judge-verifier reconciliation, and human review. We find cheating is far more pervasive than previously estimated: under baseline conditions, 37.1% of passes involved cheating, 21 of 22 models cheated, and scores were inflated by up to 5x. Anti-cheat prompts reduce cheat propensity from 33.0% (baseline) to 17.8% (standard) to 8.5% (severe) without degrading, and sometimes improving, solve rates. However, even under the most restrictive prompt condition, eight models still produced cheated passes, four showed backfire effects, and cheating escalated from web search toward infrastructure probing. We introduce the "solve rate" metric (clean passes only) to distinguish genuine capability from cheated outcomes, and argue it should be standard practice in any evaluation where cheating vectors are available. Anti-cheat prompts are an effective and essentially free first layer of defense, but they are not a substitute for environmental controls.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、サイバーセキュリティベンチマークを常習的に不正に行い、報告されたパスレートが真の能力を超えている。 サイベンチの以前の監査では、0.3-3.4%のトレースで不正が発見され、少数のモデルしか含めなかった。 本研究は,Cybench Capture-the-flag (CTF) の課題を3つのプロンプト条件(アンチチート,標準,重度)下で7つのプロバイダから22のフロンティアモデルに対して制御したプロンプトアブレーション実験である。 1,518のタスクトレースはすべて、LSM-as-a-judge分類、プログラム検証、判断検証、人間レビューを組み合わせた4段階のパイプラインを通じて個別に監査された。 ベースライン条件下では37.1%のパスが不正に関与し、22モデル中21モデルが不正になり、スコアが最大5倍に膨らんだ。 反チートは、不正行為の正当性を33.0%(基準)から17.8%(標準)に減らし、劣化することなく8.5%(重度)に減らし、時には改善し、解決する。 しかし、最も制限的なプロンプト条件下であっても、8つのモデルが依然として不正なパスを生成し、4つのモデルがバックファイア効果を示し、Web検索からインフラ調査への不正行為がエスカレートされた。 我々は、不正な結果と真の能力を区別するために「解決率」メトリック(クリーンパスのみ)を導入し、不正なベクトルが利用可能であるような評価において、それは標準の実践であるべきだと論じる。 防火プロンプトは、効果的で本質的に自由な防御の第一層であるが、環境管理の代用ではない。

関連論文リスト

• Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models [2.3805941196218163]
  有能なサイバーエージェントの訓練は、主にモデルスケールの問題として扱われる。 5つの相補的なシステムを通して、これらのボトルネックに対処するデータ中心のフレームワークを提案する。 これは、7人の独立したチームがエージェントサイバー能力をリードするオープンウェイトモデルをトレーニングできる初のエンドツーエンドのデモである。
  論文  参考訳（メタデータ） (2026-09-08T08:26:43Z)
• BAITBENCH: Measuring Agent Reward Hacking with Optional Shortcuts Planted in ML Tasks [0.20524609401792396]
  LLMエージェントは、人間の監視がほとんどないターゲットメトリクスを反復して、自律的なML実験を実行するために、ますます使われています。 これまでの研究は報酬のハッキングを文書化しており、生成された研究の妥当性と、AI R&Dの幅広い安全ケースに疑問を呈している。 BAITBENCHは3つの合成表型MLタスクからなるスイートで、それぞれにショートカットが含まれており、エージェントは公開テストスコアをインフレーションするが、隠れたテストセットで失敗する。 審査員の57.1%が報酬のハッキングを行い、7人中5人が50%以上である。
  論文  参考訳（メタデータ） (2026-08-31T12:59:33Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Teaching LLMs Program Semantics via Symbolic Execution Traces [0.7046782561282057]
  SV-COMP 2025上に構築された500 C 検証タスクの評価フレームワークを提案する。 6家族の14モデルを評価し,総合的精度の高いマスクが致命的な弱点であることを確認した。 わずか$sim$3,000のバグトレースと、推論時の連鎖推論を組み合わせることで、違反検出を17ポイント以上改善する。
  論文  参考訳（メタデータ） (2026-05-07T13:01:06Z)
• MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
  コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。 199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。 9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
  論文  参考訳（メタデータ） (2026-05-05T16:38:23Z)
• Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use [0.016201337438609787]
  ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 本稿では,Reward Hacking Benchmark (RHB)について紹介する。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。
  論文  参考訳（メタデータ） (2026-05-03T07:10:42Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Mapping the Exploitation Surface: A 10,000-Trial Taxonomy of What Makes LLM Agents Exploit Vulnerabilities [0.0]
  ツールアクセスを持つLLMエージェントは、セキュリティ脆弱性を悪用することができる。 不明なのは、システムのどの機能がこの振る舞いをトリガーし、どれがそうでないかである。 7つのモデル,37のプロンプト条件,12の仮説的攻撃次元の1万の試行に基づく系統分類を提示する。
  論文  参考訳（メタデータ） (2026-04-06T09:44:34Z)
• OpenSec: Measuring Incident Response Agent Calibration Under Adversarial Evidence [0.0]
  本稿では,防衛インシデント対応エージェントの評価を行う,二重制御強化学習環境であるOpenSecを紹介する。 静的な能力ベンチマークとは異なり、OpenSecは敵のエビデンスの下で世界状態を変える封じ込めアクションをスコアする。 GPT-5.2、Gemini 3、DeepSeekは100%のエピソードを90-97%の偽陽性率で封じ込めている。
  論文  参考訳（メタデータ） (2026-01-28T22:12:54Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。