論文の概要: Regret Dominates Surprise: Design-Time Requirements Engineering for Agentic-AI Safety
- arxiv url: http://arxiv.org/abs/2609.05692v1
- Date: Fri, 04 Sep 2026 20:01:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:51:15.247738
- Title: Regret Dominates Surprise: Design-Time Requirements Engineering for Agentic-AI Safety
- Title（参考訳）: エージェントAI安全のための設計時要求工学
- Abstract要約: 安全自律運転のための新しいレグレト・ドミナンス機構(MS-RGR)
MS-RGRは、ほぼゼロのサイレント障害を検出し、センサーのみのベースラインよりも17.5倍早くリスクを検出する。
MS-RGRはモデルレベルの安全訓練の代用ではなく、増幅する。
- 参考スコア（独自算出の注目度）: 4.5810763763063225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Requirements engineers for agentic-AI domains face challenges in evaluating, specifying, and operationalizing safe autonomy. Mainstream frameworks, such as Goal-Oriented Requirements Engineering (GORE), lack mechanisms to systematically address these challenges under epistemic uncertainty. We contribute an approach that builds on GORE to model and simulate safe autonomy in agentic-AI systems. We introduce a novel Regret-Dominance Mechanism (MS-RGR) to operationalize safe autonomy. MS-RGR uses two signals: epistemic surprise (novelty detection) and cognitive regret (evaluative risk) to address the trilemma problem: should the agent operate in routine autonomy, undergo reflective reasoning, or escalate to human? We instantiate MS-RGR in elderly care monitoring and autonomous driving. A 100-seed stochastic simulation shows MS-RGR reduces silent failures to near-zero and detects risk approximately 17.5 times faster than a sensor-only baseline, remaining formally traceable via LTL safety properties. A retrospective proxy instantiation applying the DRI gate post-hoc over execution traces from 208 AGENTHARM scenarios across seven LLMs shows the gate improves harmful-task refusal only for models with strong baseline safety (over 80% pre-gate refusal, e.g., 84.1% to 90.9%), indicating MS-RGR amplifies rather than substitutes for model-level safety training. We discuss threats to validity, positioning MS-RGR as initial feasibility evidence for design-time safety constraints in agentic-AI requirements engineering.
- Abstract（参考訳）: エージェントAIドメインに必要なエンジニアは、安全な自律性の評価、特定、運用において課題に直面します。
Goal-Oriented Requirements Engineering (GORE)のようなメインストリームフレームワークは、これらの課題を疫学的な不確実性の下で体系的に解決するメカニズムを欠いている。
我々は,エージェントAIシステムにおける安全な自律性をモデル化し,シミュレートするためのGOREに基づくアプローチに貢献する。
本稿では,安全な自律性を実現するための新しいレグレ-ドミナンス機構(MS-RGR)を提案する。
MS-RGRは、トリレンマ問題に対処するために、疫学的な驚き (novelty detection) と認知的後悔 (evaluative risk) の2つのシグナルを使用する。
介護モニタリングおよび自律運転におけるMS-RGRのインスタンス化を行う。
100列確率シミュレーションでは、MS-RGRはサイレント障害をほぼゼロに減らし、センサーのみのベースラインの約17.5倍のリスクを検知する。
7つのLDMにまたがって208のAgentHARMシナリオから得られた実行トレースにDRIゲートのポストホックを適用した振り返りプロキシインスタンスは、強力なベースライン安全性を持つモデル(80%の前ゲート拒絶、例えば84.1%から90.9%)に対してのみ有害タスクの拒絶を改善し、モデルレベルの安全訓練の代わりにMS-RGRが増幅していることを示している。
我々は,MS-RGRをエージェントAI要求工学における設計時安全制約の最初の実現可能性証拠として位置づけ,有効性に対する脅威について議論する。
関連論文リスト
- CT-SAFR: Safe and Interpretable Chain-of-Thought Reasoning for Autonomous Robots: A Multi-Layered Verification Framework for Trustworthy AI-Driven Robotic Decision Making [0.0]
CoT(Chain-of-Thought)により、LCMは明示的でステップバイステップの推論を実行し、高度な自律ロボットの機会を生み出すことができる。
最近の研究では、推論モデルが実際の決定過程を言葉化しているのはわずか25～39%であり、複雑なタスクでは44%が劣化している。
本稿では,500ms以下のレイテンシで94.2%の幻覚検出を実現する多層検証フレームワークであるCT-SAFRを提案する。
論文 参考訳（メタデータ） (2026-09-09T04:15:20Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems [0.0]
本稿では,非有界自律のアーキテクチャ的脆弱性について考察する。
この理論をSMARtモデル(Stable、Meta-cognitive、Assisted、Regulationの4層フレームワーク)を用いてインスタンス化する。
自律ライフサイクルにおける障害管理の形式化は、信頼性と管理された人工知能の実現に向けた重要なステップである、と結論付けます。
論文 参考訳（メタデータ） (2026-05-26T19:49:23Z) - Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。
ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
論文 参考訳（メタデータ） (2026-05-05T00:21:00Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - AutoControl Arena: Synthesizing Executable Test Environments for Frontier AI Risk Evaluation [22.833977971686966]
本稿では、フロンティアAIリスク評価のための自動化フレームワークであるAutoControl Arenaを紹介する。
私たちは柔軟性を維持しながら幻覚を緩和します。
この原則は3エージェントフレームワークを通じてインスタンス化され、既存のシミュレータよりも98%以上のエンドツーエンドの成功と60%の人間の好みを達成する。
論文 参考訳（メタデータ） (2026-03-08T02:49:45Z) - AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。
エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。
AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
論文 参考訳（メタデータ） (2026-01-26T13:45:41Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety [2.7030665672026846]
大規模言語モデル(LLM)エージェントは、現実の結果を伴う複雑な環境でますます運用される。
信頼性に欠ける状況からLLMエージェントが認識・撤退するための、シンプルで効果的な行動機構として「クイッティング」を用いることを提案する。
論文 参考訳（メタデータ） (2025-10-18T13:22:19Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。