論文の概要: Bounded Autonomy and Verifiable Safety for Agentic AI Enabled Automation
- arxiv url: http://arxiv.org/abs/2610.08815v1
- Date: Thu, 24 Sep 2026 02:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 16:33:44.541875
- Title: Bounded Autonomy and Verifiable Safety for Agentic AI Enabled Automation
- Title（参考訳）: 自動化を可能にするエージェントAIのバウンドオートノミーと検証可能な安全性
- Abstract要約: エージェントAIによる自動化は、確率論的推論だけでは、ハイテイクな環境に安全にデプロイすることはできない。
推論が深まるにつれ、システムの振る舞いは安全な操作のために主観的・経験的制約から遠ざかる可能性がある。
本稿では,BRaVeSについて述べる。BRaVeSは,Defensible Next-Gen Reasoning Systemと呼ばれる,有界な推論と安全管理のためのフレームワークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agentic AI-enabled automation cannot be safely deployed in high-stakes environments on probabilistic reasoning alone. A recurring risk is epistemic drift: as reasoning deepens, system behavior may move away from subject-matter-expert constraints for safe operation. This paper presents BRaVeS, a bounded reasoning and safety-governance framework termed the Defensible Next-Gen Reasoning System (DNRS). BRaVeS encodes SME-defined constraints as invariant anchors, proposes MoDA-Style (Mixture of Depths Attention) depth-aware access as a candidate mechanism for keeping these anchors visible during inference, and uses a state hierarchy (SMARtAutonomy) to reduce autonomy as epistemic risk increases. To formalize bounded recovery, we introduce the Lyapunov-Bounded Consensus Framework (LBCF), which maps continuous epistemic-risk signals into a finite K-bag abstraction and applies shielded state transitions that enforce Lyapunov-style energy descent or route the system to a human-mediated terminal state. The formal convergence result applies to the finite LBCF abstraction under fixed thresholds and feasible-shield assumptions; it does not prove safety of the full continuous neural activation space. We evaluate the framework through a discrete event Monte Carlo simulation using HAI 22.04 industrial-control-system time-series data with synthetic noise and sensor-degradation regimes. Across the tested parameter-grouping strategies and thresholds, the LBCF process achieved finite-step convergence and no safety-guard violations. These results provide simulation-based evidence that bounded governance behavior can be enforced under the stated abstraction, while motivating future work on deployed transformer implementations, live human-in-the-loop validation, and broader adversarial settings.
- Abstract（参考訳）: エージェントAI対応の自動化は、確率論的推論だけでは、ハイテイクな環境に安全にデプロイすることはできない。
再発するリスクはてんかんの漂流であり、推論が深まるにつれ、システム行動は安全な操作のために主観的・経験的制約から遠ざかる可能性がある。
本稿では,DNRS(Definensible Next-Gen Reasoning System)と呼ばれる境界推論および安全管理フレームワークであるBRaVeSについて述べる。
BRaVeSは、SME定義の制約を不変アンカーとして符号化し、推論中にこれらのアンカーを見えるに保つための候補メカニズムとしてMoDA-Style (Mixture of Depths Attention) depth-aware Accessを提案する。
リバウンド・リカバリを形式化するため, 連続性てんかんの信号を有限なK-bagの抽象化にマッピングし, リアプノフ式エネルギー降下を強制するシールド状態遷移を適用し, システムから人間を介する終端状態にルートするLyapunov-Bounded Consensus Framework (LBCF) を導入する。
公式収束結果は、固定しきい値の下での有限 LBCF の抽象と実現可能なシールドの仮定に適用されるが、完全な連続神経活性化空間の安全性は証明されない。
本研究では,HAI 22.04産業制御系時系列データを用いたモンテカルロの離散事象シミュレーションにより,合成ノイズとセンサ劣化機構を用いたフレームワークの評価を行った。
テスト対象のパラメータグループ化戦略としきい値の範囲で, LBCFプロセスは有限段階収束を達成し, 安全ガード違反は生じなかった。
これらの結果は,トランスフォーマーの実装,ライブヒューマン・イン・ザ・ループのバリデーション,より広範な敵の設定に関する今後の取り組みを動機づけつつ,境界付けられたガバナンス行動が抽象化の下で実施可能であるというシミュレーションベースの証拠を提供する。
関連論文リスト
- Architecting the Secure AI-SOC: A Neurosymbolic Framework for Pipeline Integrity and Threat Mitigation [4.043348052153102]
大規模言語モデル(LLM)をセキュリティオペレーションセンター(SOC)に組み込むと、脅威のインテリジェンスを合理化するが、重大な脆弱性を導入する。
管理者はこのベクトルを利用して、悪意のあるペイロードをシステムログに埋め込むことで、マルチステッププロンプトウェアのキルチェーンを実行する。
本稿では,エンドツーエンドのパイプライン整合性を保証するニューロシンボリック・ディフェンス・イン・ディースアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-09-09T18:03:41Z) - Stochastic Multi-Objective Kinodynamic Planning Against Adversaries [4.800861909357391]
本稿では,エゴ状態に基づく多目的キノダイナミック計画法について述べる。
確率的完全性を証明するための多目的RT(SMO-RRT)を導入し,次に多目的安定RT(SMO-SST)を紹介する。
どちらのアルゴリズムに対しても、ガウス的でない状態依存不確実性を持つ系に対して、確率制約違反の確率に基づいて有限サンプルを導出する。
論文 参考訳（メタデータ） (2026-07-21T16:56:34Z) - Controllable Sim Agents with Behavior Latents [9.41175594126692]
制御可能な変量エージェント(CNeVA)は、制御可能なシミュレートエージェントフレームワークである。
速度および加速度に基づくステアリングは、ストールによる報酬ハックを伴わずにモノトーン応答を生成する。
本実験は, ステアリングの指標を物理楽観性ガードレールと併用して読み込まなければならないことを示す。
論文 参考訳（メタデータ） (2026-07-02T17:55:39Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - GuardAD: Safeguarding Autonomous Driving MLLMs via Markovian Safety Logic [51.85782253444399]
MLLM(Multimodal large language model)は、自律運転システムに統合されつつある。
それらは、特に事故を起こしやすいシナリオにおいて、多様な安全上の脅威に弱いままである。
我々は,AD安全性を進化するマルコフ論理状態として定式化するモデル非依存型安全ガードであるGardadを提案する。
論文 参考訳（メタデータ） (2026-05-11T11:28:03Z) - Response-Aware Risk-Constrained Control Barrier Function With Application to Vehicles [0.0]
本稿では,車両の動的安全境界制御のための応答認識型リスク制約制御バリア関数に基づく統合制御フレームワークを提案する。
このフレームワークは、制御勾配の基準方向を提供するために、名目力学と直接車体応答を融合する。
また、従来の決定論的安全制約をバリア関数誘導体のテールリスクに関する確率論的制約に再構成する。
論文 参考訳（メタデータ） (2026-03-13T02:38:17Z) - AmbShield: Enhancing Physical Layer Security with Ambient Backscatter Devices against Eavesdroppers [69.56534335936534]
AmbShieldは自然分布のAmBDを利用して正規チャネルを強化し、eavesdropperを分解するAmBD支援PSSスキームである。
AmbShieldでは、AmBDはランダムに後方散乱して盗聴者の干渉を発生させるフレンドリーなジャマーとして利用され、受動的リレーは所望の信号を後方散乱して正当な装置の容量を高める。
論文 参考訳（メタデータ） (2026-01-14T20:56:50Z) - Robust Control for Dynamical Systems With Non-Gaussian Noise via Formal
Abstractions [59.605246463200736]
雑音分布の明示的な表現に依存しない新しい制御器合成法を提案する。
まず、連続制御系を有限状態モデルに抽象化し、離散状態間の確率的遷移によってノイズを捕捉する。
我々は最先端の検証技術を用いてマルコフ決定プロセスの間隔を保証し、これらの保証が元の制御システムに受け継がれるコントローラを演算する。
論文 参考訳（メタデータ） (2023-01-04T10:40:30Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳（メタデータ） (2022-10-12T07:57:03Z) - Formal Verification of Stochastic Systems with ReLU Neural Network
Controllers [22.68044012584378]
reluニューラルネットワーク(nn)コントローラを備えたサイバーフィジカルシステムの形式的安全性検証の問題に対処する。
私たちの目標は、所定の自信を持って、システムが安全でない構成に達しない初期状態のセットを見つけることです。
論文 参考訳（メタデータ） (2021-03-08T23:53:13Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳（メタデータ） (2021-02-24T01:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。