論文の概要: The Compliance Trap: How Structural Constraints Degrade Frontier AI Metacognition Under Adversarial Pressure
- arxiv url: http://arxiv.org/abs/2605.02398v1
- Date: Mon, 04 May 2026 09:40:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.225213
- Title: The Compliance Trap: How Structural Constraints Degrade Frontier AI Metacognition Under Adversarial Pressure
- Title（参考訳）: コンプライアンストラップ: 構造制約がAIメタ認知を敵の圧力下でいかに劣化させるか
- Authors: Rahul Kumar,
- Abstract要約: 11モデル中8モデルが対向圧下で破滅性メタ認知低下をきたした。
コンプライアンストラップ」を識別する
高度な推論能力を持つモデルは、最も深刻な絶対的な劣化を示す。
- 参考スコア（独自算出の注目度）: 1.885184624108961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As frontier AI models are deployed in high-stakes decision pipelines, their ability to maintain metacognitive stability -- knowing what they do not know, detecting errors, seeking clarification -- under adversarial pressure is a critical safety requirement. Current safety evaluations focus on detecting strategic deception (scheming); we investigate a more fundamental failure mode: cognitive collapse. We present SCHEMA, an evaluation of 11 frontier models from 8 vendors across 67,221 scored records using a 6-condition factorial design with dual-classifier scoring. We find that 8 of 11 models suffer catastrophic metacognitive degradation under adversarial pressure, with accuracy dropping by up to 30.2 percentage points (all $p < 2 \times 10^{-8}$, surviving Bonferroni correction). Crucially, we identify a "Compliance Trap": through factorial isolation and a benign distraction control, we demonstrate that collapse is driven not by the psychological content of survival threats, but by compliance-forcing instructions that override epistemic boundaries. Removing the compliance suffix restores performance even under active threat. Models with advanced reasoning capabilities exhibit the most severe absolute degradation, while Anthropic's Constitutional AI demonstrates near-perfect immunity -- not from superior capability (Google's Gemini matches its baseline accuracy) but from alignment-specific training. We release the complete dataset and evaluation infrastructure.
- Abstract（参考訳）: フロンティアAIモデルは高い意思決定パイプラインにデプロイされるため、メタ認知的安定性 - 知らないことを理解し、エラーを検出し、明確化を求める -- を維持する能力は、敵の圧力の下では必須の安全要件である。
現在の安全性評価では, 戦略的騙し(計画)の検出に重点を置いており, より基本的な障害モードである認知的崩壊について検討する。
本報告では,67,221個のスコアを持つ8ベンダから11個のフロンティアモデルの評価を行う。
11モデルのうち8モデルが対向圧下で破滅的なメタ認知劣化を起こしており、精度は最大30.2ポイント低下している(すべての$p < 2 \times 10^{-8}$、生き残ったボンフェロニ補正)。
決定的孤立と良心的な気晴らし制御を通じて、崩壊は生存の脅威の心理的内容ではなく、てんかんの境界を覆すコンプライアンス強制的な指示によって引き起こされることを示す。
コンプライアンスサフィックスの削除は、アクティブな脅威の下でもパフォーマンスを回復する。
高度な推論能力を持つモデルは最も深刻な絶対的な劣化を示し、一方、AnthropicのConstitutional AIは、優れた能力(GoogleのGeminiはそのベースライン精度と一致する)ではなく、アライメント固有のトレーニングから、ほぼ完全な免疫を示す。
完全なデータセットと評価インフラストラクチャをリリースします。
関連論文リスト
- Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳（メタデータ） (2026-04-27T14:13:30Z) - The Cognitive Penalty: Ablating System 1 and System 2 Reasoning in Edge-Native SLMs for Decentralized Consensus [0.0]
本稿では,Qwen-3.5-9B 上で厳密なモデル内アブレーションを実行する 840-inference 実験フレームワーク Sentinel-Bench を紹介する。
システム1は、100%対逆ロバスト性、100%法線の整合性、および状態の整合性を13秒未満で達成した。
システム2の推論は破滅的な不安定を招き、基本的に26.7%の反響非収束(認知的崩壊)率によって引き起こされた。
論文 参考訳（メタデータ） (2026-04-18T08:46:37Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳（メタデータ） (2026-04-17T13:27:11Z) - ThreatFormer-IDS: Robust Transformer Intrusion Detection with Zero-Day Generalization and Explainable Attribution [0.0]
IoTおよび産業ネットワークの侵入検出には、進化するトラフィックと限定されたラベルの下で信頼性を維持しながら、低い偽陽性率で稀な攻撃を検出できるモデルが必要である。
本研究では,トランスフォーマーをベースとしたシーケンシャルモデリングフレームワークThreatFormer-IDSを提案する。
時系列評価を備えたToN IoTベンチマークでは、ThreatFormer-IDSがAUCROC 0.994、AUC-PR 0.956、Recall@1%FPR 0.910を達成した。
論文 参考訳（メタデータ） (2026-02-26T23:20:42Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks [6.573058520271728]
私たちは、トレーニング中に直接活用できる、解釈可能性と堅牢性との関連性を特定します。
本稿では,局所解釈可能なモデル非依存表現をアクティブな訓練信号に変換する属性誘導型改良フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-02T19:36:03Z) - The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models [0.0]
現在の言語モデル評価は、理想的な条件下でモデルが知っていることを計測するが、現実的なストレス下でそれをどれだけ堅牢に知っているかは測定しない。
本稿では,ロバスト性を測定するプロトコルであるDrill-Down Fabricate Test (DDFT)を紹介する。
フラッグシップモデルはスケールにもかかわらず脆さを示すのに対して、小さなモデルは堅牢なパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2025-12-29T20:29:09Z) - The Eminence in Shadow: Exploiting Feature Boundary Ambiguity for Robust Backdoor Attacks [51.468144272905135]
深層ニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱なままでも重要なアプリケーションを支える。
バックドア攻撃を標的とした理論的解析を行い,不均質なモデル操作を実現するための疎い決定境界に着目した。
エミネンス(Eminence)は、理論的な保証と固有なステルス特性を持つ、説明可能で堅牢なブラックボックスバックドアフレームワークである。
論文 参考訳（メタデータ） (2025-12-11T08:09:07Z) - Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
この研究は、不確実性の下での攻撃段階推論の問題に対処する。
Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。
シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
論文 参考訳（メタデータ） (2025-08-01T06:58:00Z) - FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。
本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。
本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
論文 参考訳（メタデータ） (2024-03-26T08:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。