論文の概要: Stress-Testing Sandbagging Detection Under Adaptive Attack
- arxiv url: http://arxiv.org/abs/2611.14950v1
- Date: Wed, 11 Nov 2026 02:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.991126
- Title: Stress-Testing Sandbagging Detection Under Adaptive Attack
- Title(参考訳): アダプティブアタックによるストレス試験型サンドバッグ検出
- Abstract要約: サンドバッグは、能力を維持しながら意図的に低いスコアを獲得し、低いスコアを偽の安心度に変えるモデルである。
私たちは、数学の単語問題を解くために、小さなオープンウェイトモデルを微調整してサンドバッグモデルを構築します。
Qwen 2.5-3Bでは、テキストベースの監査に対して、2回の再訓練ラウンドに対して攻撃を適応する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers, auditors and researchers read evaluation scores as evidence of what a model can do. A model that sandbags, scoring low on purpose while keeping the capability, turns a low score into false reassurance. Sandbagging detectors are usually tested once against a fixed attack, but a real attacker sees what gets flagged and adapts. We build sandbagging models by fine-tuning small open-weight models to fail math word problems (GSM8K) they can otherwise solve, but only when an audit marker is in the prompt. On Qwen 2.5-3B, we adapt the attack over two retraining rounds against a text-based audit. Two rounds of retraining cut the text audit's AUC from 0.978 to 0.560 while the marker still removes 40-49 points of accuracy. The attack worked in 7 of 8 retrained seeds, and the audit missed every retraining (AUC 0.451-0.576), including one Llama run. Activation probes also flag 99% of benign fine-tunes' examples, and matched probes transfer to only 1 of 5 held-out training runs. Eight further trigger attacks are all active under their own prompt but not under the detectors' prompt. A detector that catches a fixed attack has not been shown to catch an adaptive one.
- Abstract(参考訳): 開発者、監査官、研究者は、モデルに何ができるかの証拠として評価スコアを読んだ。
サンドバッグは、能力を維持しながら意図的に低いスコアを獲得し、低いスコアを偽の安心度に変えるモデルである。
サンドバッグ探知機は通常、固定攻撃に対して一度はテストされるが、実際の攻撃者はフラグ付けされ、適応されるものを見る。
我々は、小さなオープンウェイトモデルを微調整してサンドバッグモデルを構築し、それらが解決可能な数学語問題(GSM8K)をフェールさせるが、監査マーカーがプロンプト内にある場合に限られる。
Qwen 2.5-3Bでは、テキストベースの監査に対して、2回の再訓練ラウンドに対して攻撃を適応する。
2ラウンドの再トレーニングにより、テキスト監査のAUCは0.978から0.560に削減され、マーカーは依然として40-49ポイントの精度を除去した。
攻撃は8種のうち7種で行われ、監査はランマランを含む全ての再訓練(AUC 0.451-0.576)を見逃した。
アクティベーションプローブは良質なファイントゥネスの例の99%にフラグを付け、マッチしたプローブは5つのトレーニングランのうち1つにしか転送されない。
さらに8回のトリガー攻撃は、すべて自発のプロンプトで実行されるが、検出器のプロンプトでは実行されない。
固定攻撃を捕捉する検出器は適応攻撃をキャッチすることが示されていない。
関連論文リスト
- SciCheck: A Framework for Verifying the Integrity of Deep Learning Training [47.57672664631601]
SciCheckは、科学者が自由にトレーニング設定を探索し、検証したい候補毎にブループリントを台帳にポストするフレームワークである。
統計的判断モデルは、検証者自身の参照実行とステップごとの勾配統計を比較し、再実行チェックポイントが1回に1回台帳にコミットされるスポットチェックを行う。
テストした攻撃に対して、スポットチェックは、この精度の大部分を考慮し、各レイヤが検出できるものを特徴付けます。
論文 参考訳(メタデータ) (2026-11-06T18:58:38Z) - Quantization-Tolerant Gradient Auditing for Active Inference-Attack Detection in Federated Learning [0.0]
参加者がいくつかの説明責任を持つ組織であり、サーバが信頼されているクロスサイロFLでは、サーバが代わりにクライアントを尋問できるかどうかを問う。
少ない許容範囲で比較して, 定量化指紋を用いたクロスプラットフォーム浮動小数点非決定論を強固に行う。
これは、2つの異なるアクティブアタックを真正の1.0ドルでフラグ付けし、その軸に偽陽性はなく、指紋のパラメータにわたって安定し、最大50ドルまで悪質な比率でクライアントに40ドル、32,mathrmms$サーバーワークで32,mathrmms$サーバーワークで42,35ドルという価格で警告する。
論文 参考訳(メタデータ) (2026-10-09T09:54:54Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳(メタデータ) (2026-09-08T17:53:37Z) - Activation Probes Surface Code-Security Signals that the Model's Output Misses [0.0]
AIコーディングエージェントが生産コードのシェアを拡大する。
人間のセキュリティレビューは、コードが生成される度にスケールしない。
それらのアクティベーションを読むと、同じレビュアーに見逃すセキュリティシグナルが回復するかどうかを尋ねる。
論文 参考訳(メタデータ) (2026-08-10T14:22:46Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。
重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。
3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
論文 参考訳(メタデータ) (2026-06-21T20:30:12Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳(メタデータ) (2025-10-03T07:01:45Z) - RedHerring Attack: Testing the Reliability of Attack Detection [10.406659081400354]
我々は、RedHerringという新たなアタック設定とアタックを提案し、テストする。
RedHerringは、テキストを変更することで攻撃検出モデルを信頼できないようにする。
RedHerringは検出精度を20~71ポイントに下げることができる。
論文 参考訳(メタデータ) (2025-09-25T02:53:11Z) - Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。
我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
論文 参考訳(メタデータ) (2020-07-07T18:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。