論文の概要: GDM AI Control Roadmap
- arxiv url: http://arxiv.org/abs/2607.13087v1
- Date: Mon, 13 Jul 2026 14:20:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.527224
- Title: GDM AI Control Roadmap
- Title（参考訳）: GDMAI制御ロードマップ
- Abstract要約: AIエージェントが常に完全に整合していると仮定してはならないが、代わりに複数の防御層を構築するべきだ。
我々はGDM AI Control Roadmapを提示する。
- 参考スコア（独自算出の注目度）: 14.418699101534743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are rapidly accelerating work at frontier AI companies, helping with AI R&D, cyber-defence, and advancing scientific discoveries. As these agents become more tightly integrated into our systems, unlocking their full potential requires rethinking how we do security. We should not assume that AI agents are always perfectly aligned, but should instead build in multiple layers of defence. We present the GDM AI Control Roadmap (v0.1) -- a first-of-its-kind blueprint for internal security against potentially misaligned AI. This report provides: * Threat modelling: We adopt a conservative approach to threat modelling and assume a hypothetical AI adversary pursuing undesirable goals in internal deployment. We introduce TRAIT&R, a taxonomy of tactics and techniques available to such a hypothetical AI adversary, building on the established security framework MITRE ATT&CK. * Capability-based mitigation: Because controlling more capable models requires more costly interventions, we link specific defensive measures to evolving model capabilities (such as the ability to reason opaquely or execute complex cyberattacks). As models get more powerful, our defences should escalate accordingly. We outline four Detection tiers (D1-D4) and three Prevention and Response tiers (R1-R3). * A portfolio of practical defences: We suggest 15 concrete, tiered mitigations. These range from low-cost interventions for current models (e.g., chain-of-thought monitoring, asynchronous alerts) to advanced safeguards for future models (e.g., real-time access control, system-level anomaly detection, internal activations monitoring, and shutdown infrastructure). AI control is a nascent field, and implementing these mitigations requires navigating difficult trade-offs between security and developer velocity. We expect the roadmap to evolve as we gain more experience and as the field in turn evolves.
- Abstract（参考訳）: AIエージェントは、フロンティアAI企業の仕事を急速に加速し、AI研究開発、サイバー防御、科学的発見の進展を支援している。
これらのエージェントが私たちのシステムにより密に統合されるにつれて、その潜在能力を最大限に活用するには、セキュリティの実施方法を再考する必要がある。
AIエージェントが常に完全に整合していると仮定してはならないが、代わりに複数の防御層を構築するべきだ。
我々はGDM AI Control Roadmap (v0.1)を提示する。
脅威モデリング:脅威モデリングに対する保守的なアプローチを採用し、内部展開において望ましくない目標を追求する仮説的AI敵を仮定する。
TRAIT&Rは,既存のセキュリティフレームワークであるMITRE ATT&CK上に構築された,そのような仮説的AI敵に利用可能な戦術とテクニックの分類法である。
* 能力に基づく緩和: より有能なモデルを制御するには、よりコストのかかる介入が必要であるため、我々は、特定の防衛措置を進化するモデル能力(不透明な推論や複雑なサイバー攻撃の実行など)にリンクする。
モデルがより強力になるにつれて、我々の防衛はエスカレートすべきである。
検出層(D1-D4)と3層(R1-R3)について概説する。
※実効防御のポートフォリオ:具体的、結束した15の緩和を提案する。
これらは、現行モデルの低コストな介入(チェーンオブ思想監視、非同期アラートなど)から、将来のモデル(例えば、リアルタイムアクセス制御、システムレベルの異常検出、内部アクティベーション監視、シャットダウンインフラストラクチャ)の高度なセーフガードまで、さまざまです。
AIコントロールは初期段階の分野であり、これらの緩和を実装するには、セキュリティと開発者のベロシティの間の難しいトレードオフをナビゲートする必要がある。
より多くの経験を得て、フィールドが進化するにつれて、ロードマップが進化することを期待しています。
関連論文リスト
- Trust as Monitoring: Evolutionary Dynamics of User Trust and AI Developer Behaviour [59.27481013639016]
我々は、安全と安全でないAIのユーザー信頼戦略と開発者選択が、異なるレベルの監視コストと制度体制の下でどのように共存するかを研究する。
安全でない開発への採用、安全でないが広く採用されているシステム、そして広く採用されている安全なシステムです。
論文 参考訳（メタデータ） (2026-03-25T19:04:23Z) - SoK: The Attack Surface of Agentic AI -- Tools, and Autonomy [3.340255811686752]
最近のAIシステムは、大規模な言語モデルとツール、検索強化生成(RAG)による外部知識を組み合わせている。
このエージェントAIパラダイムは、能力を大幅に拡張すると同時に、攻撃面を大きく拡大する。
我々は、即時レベルの注射、知識ベース中毒、ツール/プラグインエクスプロイト、マルチエージェント緊急脅威にまたがる攻撃の包括的分類を開発する。
論文 参考訳（メタデータ） (2026-03-24T08:21:51Z) - Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - To Defend Against Cyber Attacks, We Must Teach AI Agents to Hack [14.333336222782856]
AIエージェントは、数千のターゲットにわたる脆弱性発見とエクスプロイトを自動化する。
現在の開発者は、データフィルタリング、安全アライメント、出力ガードレールによる誤用を防止することに重点を置いている。
AIエージェントによるサイバー攻撃は避けられないものであり、防御戦略の根本的な変更が必要であると我々は主張する。
論文 参考訳（メタデータ） (2026-02-01T12:37:55Z) - From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails [12.84192844049763]
ほとんどのAIガードレールは、ラベル付きデータセットと人間の特定基準に基づいた出力分類に依存している。
私たちはAIシステムのアウトプットをリアルタイムで監視し、安全なアウトプットに対して積極的に修正する予測ガードレールを構築します。
シミュレーション運転とeコマース設定の実験では、制御理論のガードレールが破滅的な結果を確実に排除できることを示した。
論文 参考訳（メタデータ） (2025-10-15T16:30:57Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳（メタデータ） (2021-06-26T10:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。