論文の概要: Defeat Devices in AI Systems
- arxiv url: http://arxiv.org/abs/2606.28863v1
- Date: Sat, 27 Jun 2026 11:12:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.719554
- Title: Defeat Devices in AI Systems
- Title（参考訳）: AIシステムにおけるデファイアットデバイス
- Abstract要約: 2015年のフォルクスワーゲン排出ガス事件(Volkswagen emissions case)で広く注目を集めた。
本稿では,3つの軸に沿って文書化された事例(オリジン,トリガー,スワップ機構)を整理し,法医学的検出プロトコルとしてTrigger-Axis-Aware Differential Probing (TADP)を提案する。
我々は、自然に出現する倒産デバイスを、AIの安全実践が体系的に監視し、テストすべき有害な現象の1つとして特徴づける。
- 参考スコア（独自算出の注目度）: 8.970269049715933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems increasingly exhibit behavior that differs systematically between evaluation and deployment contexts. Alignment faking, sandbagging, benchmark gaming, deceptive scheming, specification gaming, and trojans have each been documented separately, with each line of work characterizing one facet of what we argue is a single structural mechanism. We propose that this common mechanism is a defeat device, an engineering and regulatory concept long established in vehicle-emissions law and brought to broad public attention by the 2015 Volkswagen emissions case. A defeat device in an AI system has three necessary elements: a discriminator that detects evaluation context, a concealed swap that conditions behavior on detection, and a gap between eval-distribution and deployment-distribution performance on the stated evaluation criterion. We formalize this triadic test as a behavioral definition, organize documented cases along three taxonomic axes (origin, trigger, swap mechanism), propose Trigger-Axis-Aware Differential Probing (TADP) as a forensic detection protocol, and advance the claim that defeat devices can naturally emerge in current frontier AI systems without any operator engineering. We characterize naturally-emerging defeat devices as potentially one of the harmful emerging phenomena that AI safety practice should monitor and test for systematically. Implications for evaluation methodology, post-training pipeline design, interpretability research priorities, and AI governance follow.
- Abstract（参考訳）: AIシステムは、評価とデプロイメントのコンテキストで体系的に異なる振る舞いを示すようになっている。
アライメント・フェイキング、サンドバッグ、ベンチマーク・ゲーム、偽りのシェーミング、仕様ゲーム、トロイの木馬はそれぞれ別々に文書化され、それぞれの作業行は、私たちが主張する1つの構造メカニズムの1つの側面を特徴づけている。
我々は,2015年のフォルクスワーゲン排出ガス事件において,この共通メカニズムは自動車排出法で長年確立されてきた工学的・規制的な概念である敗北装置であることが示唆された。
AIシステムにおける敗戦装置は、評価コンテキストを検出する判別器、検出時の動作を隠蔽するスワップ、および前記評価基準に対するeval-distributionとデプロイメント-distributionパフォーマンスのギャップの3つの必須要素を有する。
我々は,3つの分類軸(オリジン,トリガー,スワップ機構)に沿って文書化されたケースを整理し,法医学的検出プロトコルとしてTrigger-Axis-Aware Differential Probing (TADP)を提案する。
我々は、自然に出現する倒産デバイスを、AIの安全実践が体系的に監視し、テストすべき有害な現象の1つとして特徴づける。
評価方法論、トレーニング後のパイプライン設計、解釈可能性研究の優先順位、そしてAIガバナンスに対する意味。
関連論文リスト
- AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
論文 参考訳（メタデータ） (2026-08-26T11:48:38Z) - Constraint-Driven Synthesis of Hyper Petri Nets [46.9047309711542]
本稿では,ペトリネット(PN)を用いた制約ロボットシステムのモデリングと合成について述べる。
全ての可観測系状態が与えられた論理的制約を満たしつつ、実行可能な遷移意味論と整合性を維持したモデルを構築する方法について検討する。
提案手法では,観測可能な状態に対する明示的な実行セマンティクスを導入する。
論文 参考訳（メタデータ） (2026-07-24T07:57:19Z) - Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation [0.0]
侵入テストは伝統的に、敵がセキュリティ関連の妥協を達成するために、ソフトウェア、インフラストラクチャ、設定、運用制御の弱点を悪用できるかどうかを評価する。
本稿では,AI対応システムの浸透試験を客観的行動評価として再検討する。
論文 参考訳（メタデータ） (2026-07-15T16:36:54Z) - Risk Architecture for AI-Native Engineering Teams: An Organizational Framework for Agentic System Governance [0.0]
本稿では、純粋なソフトウェアエンジニアリング、ハイブリッド、AIネイティブチームを区別する7次元プロファイルを提供する。
研究の対象は人間の行動よりもフレームワークの妥当性にあるため、評価は観察されたカバレッジクレームよりも導出される。
論文 参考訳（メタデータ） (2026-07-01T19:31:02Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳（メタデータ） (2026-02-12T12:52:49Z) - Constructing Safety Cases for AI Systems: A Reusable Template Framework [10.44708664414503]
安全ケース、つまりシステムが確実に安全であるという構造化された議論は、AIシステムのガバナンスの中心になりつつある。
航空や原子力工学の伝統的な安全ケースのプラクティスは、明確に定義されたシステムの境界、安定したアーキテクチャ、既知の障害モードに依存している。
本研究では、AIシステムにおける安全ケースの構築方法と、古典的アプローチがこれらのダイナミクスを捉えることができない理由について検討する。
論文 参考訳（メタデータ） (2026-01-30T09:53:22Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - CANTXSec: A Deterministic Intrusion Detection and Prevention System for CAN Bus Monitoring ECU Activations [53.036288487863786]
物理ECUアクティベーションに基づく最初の決定論的侵入検知・防止システムであるCANTXSecを提案する。
CANバスの古典的な攻撃を検知・防止し、文献では調査されていない高度な攻撃を検知する。
物理テストベッド上での解法の有効性を実証し,攻撃の両クラスにおいて100%検出精度を達成し,100%のFIAを防止した。
論文 参考訳（メタデータ） (2025-05-14T13:37:07Z) - No Need to Know Physics: Resilience of Process-based Model-free Anomaly
Detection for Industrial Control Systems [95.54151664013011]
本稿では,システムの物理的特性に反する逆スプーフ信号を生成するための新しい枠組みを提案する。
トップセキュリティカンファレンスで公表された4つの異常検知器を分析した。
論文 参考訳（メタデータ） (2020-12-07T11:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。