論文の概要: Backchaining Loss of Control Mitigations from Mission-Specific Benchmarks in National Security
- arxiv url: http://arxiv.org/abs/2605.21095v1
- Date: Wed, 20 May 2026 12:27:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.6658
- Title: Backchaining Loss of Control Mitigations from Mission-Specific Benchmarks in National Security
- Title（参考訳）: 国家安全保障におけるミッション特化ベンチマークによる制御緩和のバックチェーン化
- Abstract要約: Affordances and permissions is promising safety levers for miting Loss of Control threats in high-stakes deployment contexts。
本稿では,AIシステムによる国家安全ベンチマークのエラーからLoC軽減をバックチェーンする,補完的かつ実証的な手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Affordances and permissions are promising and timely safety levers for mitigating Loss of Control (LoC) threats in high-stakes deployment contexts, such as national security. Deployers in defense and intelligence could rely on several approaches to identify which affordances and permissions should be prioritized, such as structured threat modelling, pre-deployment agentic evaluations, post-deployment continuous monitoring, and AI safety cases. This paper proposes a complementary and empirical methodology that leverages existing use-case-specific benchmarks: backchaining LoC mitigations from the errors an AI system makes on national security benchmarks. The approach proceeds in three steps and allows national security deployers to start building LoC mitigations today, from evidence they can generate themselves. First, deployers evaluate AI systems on mission-specific benchmarks approximating real use-cases. Second, deployers concentrate on the incorrect responses that the AI system provides to the benchmark questions, and backchain the affordances and permissions that would enable the AI system to cause downstream harm if it pursued the actions described in the incorrect answers. Third, deployers intervene selectively on those affordances and permissions, bottlenecking the paths to harm while preserving the AI system's ability to carry out the correct action. We illustrate this methodology through a demonstrative benchmark question on derivative security classification.
- Abstract（参考訳）: 国家の安全など、高度に配備された状況下でのLoC(Los of Control)の脅威を軽減するため、予算と許可は有望かつタイムリーな安全レバーである。
防衛とインテリジェンスのデプロイは、構造化脅威モデリング、事前デプロイエージェント評価、デプロイ後の継続的監視、AI安全ケースなど、どの余裕と権限を優先するかを特定するためのいくつかのアプローチに依存する可能性がある。
本稿では,AIシステムが国家安全ベンチマークで行ったエラーから,既存のユースケース固有のベンチマークをバックチェーンする,補完的かつ実証的な手法を提案する。
このアプローチは3つのステップで進み、国家安全保障のデプロイ担当者は、自分たちで生成できる証拠から、今日からLoC対策を構築することができる。
まず、デプロイ者はミッション固有のベンチマークでAIシステムを評価し、実際のユースケースを近似する。
第二に、デプロイ者は、AIシステムがベンチマークの質問に対して与える誤った応答に集中し、不正な回答に記載されたアクションを追求すれば、AIシステムが下流に害をもたらす可能性のある余裕と許可をバックチェーンする。
第三に、デプロイはそれらの余裕と許可を選択的に介入し、AIシステムの正しいアクションを実行する能力を維持しながら、害を受けるための経路をボトルネックにします。
本稿では,この手法を,デリバティブセキュリティ分類に関する実証的ベンチマーク質問を通じて説明する。
関連論文リスト
- Toward Comprehensive Risk Assessments and Assurance of AI-Based Systems [0.0]
AIベースのシステムの展開によって生じる、安全、社会経済的、倫理的被害は、新たに発見されたリスクに対してマップ、測定、緩和を行うための膨大な努力を導いてきた。
リスクアセスメント手法や用語を安全・セキュリティ分野から適用しようとする試みは,これまでは不十分であった。
我々は,より汎用的なAIシステムのためのオペレーショナルデザインドメイン(ODD)の概念を統合する,新たなエンドツーエンドAIリスクフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-28T13:26:03Z) - VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳（メタデータ） (2026-06-02T17:42:17Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - AgentReputation: A Decentralized Agentic AI Reputation Framework [3.6704226968275253]
我々はエージェントAIシステムのための分散3層評価フレームワークである textbfAgentReputation を提案する。
このフレームワークは、タスク実行、評価サービス、タンパー保護の永続化を分離し、それぞれの強みを活用し、独立した進化を可能にする。
定量化において、AgentReputationはリソース割り当て、アクセス制御、適応的な検証エスカレーションをサポートする決定対応のポリシーエンジンを提供する。
論文 参考訳（メタデータ） (2026-04-30T12:33:39Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks [46.32011684548212]
AIエージェントは間接的なプロンプトインジェクションに対して脆弱であり、信頼できないデータに埋め込まれた悪意のある命令は危険なエージェントアクションを引き起こす可能性がある。
本稿では,間接的インジェクション攻撃に対するシステムレベルの防御の展望について論じる。
論文 参考訳（メタデータ） (2026-03-31T17:15:46Z) - Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies [57.521647436515785]
私たちはフロンティアAIの監査を、フロンティアAI開発者の安全とセキュリティに関する主張の厳格な第三者による検証として定義しています。
本稿では,AI保証レベル(AAL-1からAAL-4)について紹介する。
論文 参考訳（メタデータ） (2026-01-16T18:44:09Z) - MAIF: Enforcing AI Trust and Provenance with an Artifact-Centric Agentic Paradigm [0.5495755145898128]
現在のAIシステムは、監査証跡、証明追跡、EU AI Actのような新たな規則で要求される説明可能性に欠ける不透明なデータ構造で運用されている。
動作は一時的なタスクではなく、永続的で検証可能なデータアーティファクトによって駆動される、アーティファクト中心のAIエージェントパラダイムを提案する。
プロダクション対応実装では、超高速ストリーミング(2,720.7MB/s)、最適化されたビデオ処理(1,342MB/s)、エンタープライズレベルのセキュリティが示されている。
論文 参考訳（メタデータ） (2025-11-19T04:10:32Z) - AI threats to national security can be countered through an incident regime [55.2480439325792]
我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。
提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。
第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
論文 参考訳（メタデータ） (2025-03-25T17:51:50Z) - AI Companies Should Report Pre- and Post-Mitigation Safety Evaluations [5.984437476321095]
フロンティアAI企業は、事前および後安全評価の両方を報告すべきである。
両段階におけるモデルの評価は、政策立案者に、配備、アクセス、安全基準を規制するための重要な証拠を提供する。
論文 参考訳（メタデータ） (2025-03-17T17:56:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。