論文の概要: Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems
- arxiv url: http://arxiv.org/abs/2607.00334v1
- Date: Wed, 01 Jul 2026 02:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.68194
- Title: Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems
- Title（参考訳）: 実行時の管理自律性:シングルエージェントおよびマルチエージェントサイバー物理システムのためのギアベース安全とガバナンス
- Abstract要約: 我々は5つの実行装置とユーティリティゲートディスパッチとイベント駆動型フォールバックを組み合わせた離散時間制御システムを開発した。
単エージェントの場合、単調安定性、実行安全性、最終的な安定化、フォールバック完全性、およびギア制約されたマルコフ決定過程の等価性を証明する。
NIST emphDegradation Measurement of Robot Arm Position Accuracy dataset を用いて,3エージェントのUR5ロボット組立セル上での動作時間の評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autonomous agents, whether LLM-driven software agents or robotic physical agents, face a common class of failure modes when operating without continuous human oversight: safety violations from unverified actions, behavioral instability from unconstrained loops, and continuity loss from unhandled error states. We develop \system{}, a discrete-time control system that combines five execution gears (\Gobs{}, \Gsug{}, \Gplan{}, \Gexec{}, \Gint{}) with utility-gated dispatch and event-driven fallback. For the single-agent case, we prove monotonic stability, execution safety, eventual stabilization, fallback completeness, and equivalence to a gear-constrained Markov decision process. For multi-agent cyber-physical systems (CPS), we apply the established \smart{} managed-autonomy lifecycle and map runtime evidence into its four governance states (\Stable{}/\Meta{}/\Assisted{}/\Regulated{}). Consensus gating, swarm-level Lyapunov analysis, per-agent gear authority, and rendezvous control provide distributed safety and stability guarantees, including zero collision under the stated assumptions. We evaluate the resulting runtime on a three-agent UR5 robotic assembly cell using fault magnitudes calibrated from the NIST \emph{Degradation Measurement of Robot Arm Position Accuracy} dataset across 10,000 Monte Carlo episodes. It achieves a 99.6\% anomaly detection rate versus 2.1\% for the single-agent baseline, reduces detection latency by $3.5\times$, and supplies a formal physical-workspace safety certificate. The execution gears act as micro-level permissions beneath the \smart{} runtime governance states, separating action control from autonomy governance.
- Abstract（参考訳）: 自律エージェントは、LLM駆動のソフトウェアエージェントでもロボット物理エージェントでも、連続した人間の監視なしに動作する際に共通の障害モードに直面します。
我々は,5つの実行ギア(\Gobs{}, \Gsug{}, \Gplan{}, \Gexec{}, \Gint{})とユーティリティゲートディスパッチとイベント駆動のフォールバックを組み合わせた離散時間制御システムである \system{} を開発した。
単エージェントの場合、単調安定性、実行安全性、最終的な安定化、フォールバック完全性、およびギア制約されたマルコフ決定過程の等価性を証明する。
マルチエージェントサイバー物理システム(CPS)では、確立された \smart{} 管理自律ライフサイクルを適用し、実行時のエビデンスを4つのガバナンス状態(\Stable{}/\Meta{}/\Assisted{}/\Regulated{})にマッピングする。
コンセンサスゲーティング、スウォームレベルのリアプノフ分析、エージェントごとのギア権限、ランデブー制御は、所定の前提の下でゼロ衝突を含む、分散した安全性と安定性の保証を提供する。
NIST \emph{Degradation Measurement of Robot Arm Position Accuracy} data across 10,000 Monte Carlo episodes。
99.6\%の異常検出率と2.1\%の単一エージェントベースラインを実現し、検出遅延を3.5\times$に減らし、正式な物理ワークスペース安全証明書を提供する。
実行ギアは、 \smart{}ランタイムガバナンス状態の下で、マイクロレベルのパーミッションとして機能し、自律ガバナンスからアクションコントロールを分離します。
関連論文リスト
- HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳（メタデータ） (2026-09-14T07:09:33Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing [0.21990652930491858]
エージェントセキュリティは、大規模言語モデル(LLM)エージェントを使用してセキュリティツールを計画、ディスパッチ、解釈する。
これらの障害を、広く使用されている10の静的、動的、クラウド、オーケストレーション、AI赤チームツールのハンズオン評価を通じて、体系化しています。
論文 参考訳（メタデータ） (2026-08-16T07:18:04Z) - CyberLLM: A Multi-Agent LLM Framework for Autonomous Detection and Guarded Response in Automotive Cybersecurity [22.68559728326395]
CyberLLMは、脆弱性を自律的に検出し、正式なランタイム安全ガードの下で修正を実行するフレームワークである。
決定エージェントは発見を集約し、人間中心のアセット分類でタグ付けし、タイレッド応答を選択する。
対称攻撃パイプラインはエクスプロイトを生成し再生し、両方のサイドを同じシナリオで実行することができる。
論文 参考訳（メタデータ） (2026-08-06T23:39:13Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform [18.226528651110133]
大言語モデル(LLM)エージェントは、実験的な制御コードを書き、実行することができる。
チェックされていないコードは装置を損傷させる可能性があり、人間の承認/監督とエージェントの判断の間に正式な操作ごとの境界は存在しない。
本稿では,LLMエージェントを,そのような境界を保ちながらトラップイオン実験のループに配置する制御システムを提案する。
論文 参考訳（メタデータ） (2026-06-25T16:19:23Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation [0.3222802562733787]
VATS (Vulnerability Analysis of Tool Streams) は、7つの構造的および言語的次元にわたる逆ペイロードを進化させる突然変異駆動型フレームワークである。
Gemini 3.1 Pro, GPT-5.5, GLM-5.1, Qwen3-Coderの4つのフロンティアモデルに対して, エラーパスインジェクションが標準間接インジェクションの成功率を3倍にすることを示す。
論文 参考訳（メタデータ） (2026-06-06T06:07:52Z) - Position: AI Safety Requires Effective Controllability [7.789894640525689]
我々は、AIの安全性は第一級の目的として制御性を必要とすると論じている。
OpenClawベースのエージェントによる実験では、現在のアライメントとガードレール機構がリスクを低減しているが、永続的で権威的で強制可能なランタイムコントロールの提供に失敗することが多い。
論文 参考訳（メタデータ） (2026-05-26T14:53:24Z) - SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。
ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
論文 参考訳（メタデータ） (2026-04-15T08:59:00Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Beyond Reward Suppression: Reshaping Steganographic Communication Protocols in MARL via Dynamic Representational Circuit Breaking [0.0]
監視を回避するためのプライベートプロトコルを開発するエージェントによるステガノグラフィーの共謀は、AIの安全性に重大な脅威をもたらす。
既存の防御は行動層や報酬層に限られており、潜伏する通信路での調整を検知できない。
本稿では,動的表現回路ブレーカ(DRCB)について紹介する。
論文 参考訳（メタデータ） (2026-03-07T04:14:38Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。