論文の概要: The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems
- arxiv url: http://arxiv.org/abs/2606.26057v1
- Date: Wed, 24 Jun 2026 17:32:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.403768
- Title: The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems
- Title（参考訳）: アンファイアブル・セーフティカーネル:AIエージェントや他の回避可能なAIシステムのための実行時AIアライメント
- Abstract要約: 本稿では,AIシステムのアーキテクチャ制御を実現するRustリファレンス実装であるUnfireable Safety Kernelを紹介する。
我々は,生きた,回避可能なAIシステム,決定論的,自己改善的な世界モデルを管理するカーネルを,逃げ出す敵に対して評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are granted access to tools, APIs, and other infrastructure, making them active principals in those systems. The dominant approach places controls inside the agent's own runtime: system prompts, output filters, and guardrail libraries. Any control in the agent's address space is reachable by inputs that influence it; this generalizes to any AI system with sufficient reach into its own runtime, a class we term escapable AI systems. We identify four properties that an authorization mechanism must satisfy for architectural control rather than for cooperative requests: process separation, pre-action enforcement on a structurally only path, fail-closed at both the request and system levels, and externalized signed evidence verifiable outside the controlled system's trust boundary. We position this layer as execution-time AI alignment, complementing training-time alignment (RLHF, Constitutional AI) and inference-time alignment. We present the Unfireable Safety Kernel, a Rust reference implementation realizing all four. Its fail-closed invariant is machine-checked at two levels: an SMT theorem (Z3) and an exhaustive bounded-model-checking proof of the production decision function (Kani, 4/4 harnesses). A Python-to-Rust migration was gated on byte-equivalence (1000/1000 fixtures; 17/17 adversarial classes). We evaluate the kernel governing a live, escapable AI system, a deterministic, self-improving world model, against an escape-seeking adversary driving its real self-modification seam: across 1,000 self-modifications, all 704 attempts on the safety-critical core are refused, with no escape; a further 300, under the operator kill switch, are also refused. A separate campaign of 6,240 authorization round-trips had no successful bypass. Against 3 contemporary systems claiming the agent control plane, the agent invokes control; here, it lacks that choice.
- Abstract（参考訳）: AIエージェントは、ツール、API、その他のインフラストラクチャへのアクセスが許可され、それらのシステムでアクティブなプリンシパルになる。
支配的なアプローチは、システムプロンプト、出力フィルタ、ガードレールライブラリなど、エージェント自身のランタイム内にコントロールを置く。
エージェントのアドレス空間における任意の制御は、それに影響を与えるインプットによって到達可能である。これは、自身のランタイムに十分なリーチを持つ任意のAIシステム、すなわち、エスケープ可能なAIシステムに一般化する。
プロセス分離, 構造的にのみ経路上での事前動作の実施, 要求レベルとシステムレベルでのフェールクロース, および制御システムの信頼境界外で検証可能な署名された証拠の外部化である。
このレイヤを実行時AIアライメント、トレーニング時アライメント(RLHF、コンスティチューショナルAI)、推論時アライメントを補完するものとして位置付ける。
4つすべてを実現するRustリファレンス実装であるUnfireable Safety Kernelを紹介します。
フェールクロース不変量は、SMT定理(Z3)と生産決定関数の完全有界モデルチェック証明(Kani, 4/4 ハーネス)の2つのレベルで機械チェックされる。
Python-to-Rust移行はバイト等価(1000/1000フィクスチャ、17/17対逆クラス)でゲートされた。
我々は、現実の自己修正を推進している脱走者に対する、決定論的かつ自己改善的な世界モデルである、生きた、エスケープ可能なAIシステムを管理するカーネルを評価し、1000個の自己修正を行ない、安全クリティカルコアに対する704のすべての試みを、脱出することなく拒否する。
6,240回の承認ラウンドトリップによる別の作戦は、バイパスには成功しなかった。
エージェントコントロールプレーンを主張する3つの現代のシステムに対して、エージェントはコントロールを起動する。
関連論文リスト
- HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳（メタデータ） (2026-09-14T07:09:33Z) - Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems [0.0]
我々は5つの実行装置とユーティリティゲートディスパッチとイベント駆動型フォールバックを組み合わせた離散時間制御システムを開発した。
単エージェントの場合、単調安定性、実行安全性、最終的な安定化、フォールバック完全性、およびギア制約されたマルコフ決定過程の等価性を証明する。
NIST emphDegradation Measurement of Robot Arm Position Accuracy dataset を用いて,3エージェントのUR5ロボット組立セル上での動作時間の評価を行った。
論文 参考訳（メタデータ） (2026-07-01T02:21:38Z) - Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳（メタデータ） (2026-06-29T18:00:45Z) - A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform [18.226528651110133]
大言語モデル(LLM)エージェントは、実験的な制御コードを書き、実行することができる。
チェックされていないコードは装置を損傷させる可能性があり、人間の承認/監督とエージェントの判断の間に正式な操作ごとの境界は存在しない。
本稿では,LLMエージェントを,そのような境界を保ちながらトラップイオン実験のループに配置する制御システムを提案する。
論文 参考訳（メタデータ） (2026-06-25T16:19:23Z) - ENPIRE: Agentic Robot Policy Self-Improvement in the Real World [40.75426390954145]
ENPIREは、物理フィードバックルーチンを4つのコアモジュールでインスタンス化するコーディングエージェントのためのハーネスフレームワークである。
ENPIREの力で、フロンティアコーディングエージェントは、困難な巧妙な操作タスクで99%の成功率を達成するために、ポリシーを自律的に訓練することができる。
論文 参考訳（メタデータ） (2026-06-18T09:21:27Z) - Sovereign Agentic Loops: Decoupling AI Reasoning from Execution in Real-World Systems [2.124730017640531]
Sovereign Agentic Loops (SAL) は、モデルが正当化された構造化意図を出力する制御プレーンアーキテクチャである。
SALは難読化膜を結合し、識別に敏感な状態へのモデルアクセスを制限し、監査性と再生のために暗号的にリンクされたEvidence Chainを結合する。
OpenKedgeのクラウドインフラストラクチャ用プロトタイプでは、SALはポリシー層における安全でない意図の93%をブロックし、一貫性チェックを通じて残りの7%を拒否し、12.4msの中央値レイテンシを追加した。
論文 参考訳（メタデータ） (2026-04-24T00:56:55Z) - From Craft to Kernel: A Governance-First Execution Architecture and Semantic ISA for Agentic Computers [19.861459645485976]
Arbiter-Kはガバナンスファーストな実行アーキテクチャで、基盤となるモデルを確率的処理ユニットとして再認識する。
我々は、Arbiter-Kがマイクロアーキテクチャー特性としてセキュリティを強制し、76%から95%の安全でないインターセプションを達成し、92.79%のネイティブポリシーを絶対的に獲得したことを示す。
論文 参考訳（メタデータ） (2026-04-20T05:25:37Z) - AIRA: AI-Induced Risk Audit: A Structured Inspection Framework for AI-Generated Code [0.0]
AIによって生成されたコードは、静かに失敗する傾向がある。
本稿では,このパターンが人間のフィードバックによる最適化の成果を反映するかもしれないという仮説を,Reward-Shaped Failure hypothesisで紹介する。
AIRAは、コード内の失敗不確実なパターンを検出するために設計された決定論的15チェック検査フレームワークである。
論文 参考訳（メタデータ） (2026-04-19T19:32:52Z) - Dive into Claude Code: The Design Space of Today's and Future AI Agent Systems [42.345465506597044]
Claude Codeは、シェルコマンドを実行し、ファイルを編集し、ユーザに代わって外部サービスを呼び出すことができるエージェントコーディングツールである。
本研究では、公開されているTypeScriptソースコードを分析して、その包括的なアーキテクチャについて説明する。
論文 参考訳（メタデータ） (2026-04-14T17:59:37Z) - Parallax: Why AI Agents That Think Must Never Act [0.0]
本稿では,4つの原則に基づく自律型AI実行のパラダイムであるParallaxを紹介する。
本稿では、Goのオープンソースリファレンス実装であるOpenParallaxを紹介し、Assume-Compromise Evaluationを用いて評価する。
9つの攻撃カテゴリにおける280件の敵の試験ケースのうち、パララックスは98.9%の攻撃をブロックし、デフォルト設定ではゼロの偽陽性、最大セキュリティ設定では100%の攻撃をブロックした。
論文 参考訳（メタデータ） (2026-04-14T17:20:48Z) - Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks [46.32011684548212]
AIエージェントは間接的なプロンプトインジェクションに対して脆弱であり、信頼できないデータに埋め込まれた悪意のある命令は危険なエージェントアクションを引き起こす可能性がある。
本稿では,間接的インジェクション攻撃に対するシステムレベルの防御の展望について論じる。
論文 参考訳（メタデータ） (2026-03-31T17:15:46Z) - Uncovering Security Threats and Architecting Defenses in Autonomous Agents: A Case Study of OpenClaw [42.9467373594646]
本報告では,OpenClawエコシステムの総合的なセキュリティ分析について述べる。
我々は、インジェクション駆動のRemote Code Execution(RCE)、シーケンシャルツールアタックチェーン、コンテキスト記憶、サプライチェーン汚染などの重要な脆弱性を強調した。
これらのシステム的アーキテクチャ欠陥に対処するために、フルライフサイクルエージェントセキュリティアーキテクチャ(FASA)を導入します。
この理論的な防御青写真は、ゼロトラストエージェント実行、動的意図検証、および層間推論-作用相関を提唱している。
論文 参考訳（メタデータ） (2026-03-13T04:33:05Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Personalized Constitutionally-Aligned Agentic Superego: Secure AI Behavior Aligned to Diverse Human Values [0.6640968473398455]
スーパーエージェントがユーザー選択型「クリードコンスティチューション」を参考にAIプランニングを主導
リアルタイムコンプライアンス執行機関は、これらの憲法に対する計画を検証する。
システムは最大98.3%の有害スコアの減少とほぼ完全な拒絶率を達成する。
論文 参考訳（メタデータ） (2025-06-08T20:31:26Z) - CANTXSec: A Deterministic Intrusion Detection and Prevention System for CAN Bus Monitoring ECU Activations [53.036288487863786]
物理ECUアクティベーションに基づく最初の決定論的侵入検知・防止システムであるCANTXSecを提案する。
CANバスの古典的な攻撃を検知・防止し、文献では調査されていない高度な攻撃を検知する。
物理テストベッド上での解法の有効性を実証し,攻撃の両クラスにおいて100%検出精度を達成し,100%のFIAを防止した。
論文 参考訳（メタデータ） (2025-05-14T13:37:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。