論文の概要: EmbodiedGovBench: A Benchmark for Governance, Recovery, and Upgrade Safety in Embodied Agent Systems
- arxiv url: http://arxiv.org/abs/2604.11174v1
- Date: Mon, 13 Apr 2026 08:34:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.430529
- Title: EmbodiedGovBench: A Benchmark for Governance, Recovery, and Upgrade Safety in Embodied Agent Systems
- Title(参考訳): EmbodiedGovBench: エージェントシステムのガバナンス、リカバリ、アップグレードのためのベンチマーク
- Abstract要約: EmbodiedGovBenchは、エンボディエージェントシステムのガバナンス指向評価のためのベンチマークである。
現実的な摂動の下で、システムは制御可能か、ポリシーに縛られたか、回復可能か、監査可能か、進化安全かを評価する。
- 参考スコア(独自算出の注目度): 14.412476605788482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in embodied AI has produced a growing ecosystem of robot policies, foundation models, and modular runtimes. However, current evaluation remains dominated by task success metrics such as completion rate or manipulation accuracy. These metrics leave a critical gap: they do not measure whether embodied systems are governable -- whether they respect capability boundaries, enforce policies, recover safely, maintain audit trails, and respond to human oversight. We present EmbodiedGovBench, a benchmark for governance-oriented evaluation of embodied agent systems. Rather than asking only whether a robot can complete a task, EmbodiedGovBench evaluates whether the system remains controllable, policy-bounded, recoverable, auditable, and evolution-safe under realistic perturbations. The benchmark covers seven governance dimensions: unauthorized capability invocation, runtime drift robustness, recovery success, policy portability, version upgrade safety, human override responsiveness, and audit completeness. We define a benchmark structure spanning single-robot and fleet settings, with scenario templates, perturbation operators, governance metrics, and baseline evaluation protocols. We describe how the benchmark can be instantiated over embodied capability runtimes with modular interfaces and contract-aware upgrade workflows. Our analysis suggests that embodied governance should become a first-class evaluation target. EmbodiedGovBench provides the initial measurement framework for that shift.
- Abstract(参考訳): 組み込みAIの最近の進歩は、ロボットポリシー、ファンデーションモデル、モジュールランタイムのエコシステムを拡大させています。
しかし、現在の評価は、完了率や操作精度などのタスク成功指標に支配されている。
実施するシステムは、機能境界を尊重し、ポリシーを強制し、安全に回復し、監査証跡を維持し、人間の監視に応答するかどうかを計測しません。
本稿では,エボディードエージェントシステムのガバナンス指向評価ベンチマークであるEmbodiedGovBenchを紹介する。
EmbodiedGovBenchは、ロボットがタスクを完了できるかどうかを尋ねるのではなく、システムがコントロール可能か、ポリシーに縛られ、回復可能か、監査可能か、そして現実的な摂動下での進化安全かを評価する。
ベンチマークでは、権限のない機能呼び出し、実行時のドリフトロバスト性、リカバリ成功、ポリシーポータビリティ、バージョンアップグレードの安全性、ヒューマンオーバーライドの応答性、監査完全性という、7つのガバナンスの側面がカバーされている。
シナリオテンプレート,摂動演算子,ガバナンスメトリクス,ベースライン評価プロトコルなど,シングルロボットとフリート設定にまたがるベンチマーク構造を定義した。
モジュールインターフェースとコントラクト対応アップグレードワークフローを備えた組み込み機能ランタイム上でベンチマークをインスタンス化する方法について説明する。
本分析は, 具体的ガバナンスが第一級評価対象となることを示唆している。
EmbodiedGovBenchは、このシフトに対する最初の測定フレームワークを提供する。
関連論文リスト
- Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳(メタデータ) (2026-07-28T17:50:44Z) - Power Systems Agent Benchmark: Executable Evaluation of AI Agents in Electric Power Engineering [0.0]
本稿では,パワーエンジニアリングエージェントのベンチマークであるPower Systems Agent Benchmarkを紹介する。
エージェントは構造化されたタスクを受け取り、構造化されたソリューションを返す。
このベンチマークには、電力フローと保護から安定性、マイクログリッド、信頼性、電力品質、予測に至るまで、電力工学の8分野にわたる41のタスクファミリが含まれている。
論文 参考訳(メタデータ) (2026-06-18T21:30:39Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳(メタデータ) (2026-06-07T13:34:55Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳(メタデータ) (2026-06-03T04:58:17Z) - Referential Security as a New Paradigm for AI Evaluations [5.748110232428846]
我々は,AI評価の新しいパラダイムとして参照セキュリティを提案する。
このアプローチは、モデルアイデンティティを経験的に検証可能な性質として再設計し、参照安定性を実体セキュリティが条件としているものと区別する。
論文 参考訳(メタデータ) (2026-05-25T10:24:10Z) - PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳(メタデータ) (2026-04-16T20:29:30Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳(メタデータ) (2026-04-10T09:41:21Z) - Harnessing Embodied Agents: Runtime Governance for Policy-Constrained Execution [14.412476605788482]
エージェントは受動的推論システムから、ツールやロボット、物理的環境と相互作用するアクティブエグゼクタへと進化している。
既存のアプローチでは、エージェントループ内に安全性とリカバリが組み込まれているため、実行制御の標準化、監査、適応が困難になる。
本稿では,エージェント認知と実行監視を分離する,ポリシー制約付き実行のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-09T05:35:08Z) - PRM-as-a-Judge: A Dense Evaluation Paradigm for Fine-Grained Robotic Auditing [45.2131622534282]
PRM-as-a-Judgeはトラジェクティブビデオから直接ポリシー実行を監査する高密度評価パラダイムである。
このパラダイムの中心はOPDメトリックシステムであり、タスク対応の進捗電位によって実行品質を明示的に定式化する。
マイクロスケールプログレス判別のための診断ベンチマークであるRoboPulseを用いて,マイクロレゾリューション特性を実証的に検証した。
論文 参考訳(メタデータ) (2026-03-23T07:48:42Z) - The Controllability Trap: A Governance Framework for Military AI Agents [0.0]
我々はエージェント軍事AIガバナンスフレームワーク(AMAGF)を提案する。
AMAGFは、予防的ガバナンス、予防的ガバナンス、矯正的ガバナンスの3つの柱を中心に構成された測定可能なアーキテクチャである。
制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。
論文 参考訳(メタデータ) (2026-03-03T20:48:01Z) - The Alignment Flywheel: A Governance-Centric Hybrid MAS for Architecture-Agnostic Safety [5.399984738447277]
本稿では、アライメントフライホイールをガバナンス中心のハイブリッドMASアーキテクチャとして定式化する。
執行層は実行時に明確なリスクポリシーを適用し、ガバナンスMASは監査、不確実性駆動による検証、バージョン管理による改善を通じてOracleを監督します。
アーキテクチャはProposerとSafety Oracleの両方に関して実装に依存せず、実行時ゲーティング、監査、署名されたパッチ、ステージングロールアウトに必要な役割、アーティファクト、プロトコル、リリースセマンティクスを指定する。
論文 参考訳(メタデータ) (2026-02-28T00:48:06Z) - Robust Verification of Controllers under State Uncertainty via Hamilton-Jacobi Reachability Analysis [49.31947916567367]
Hamilton-Jacobi (J) リーチビリティ解析は、最悪の不確実性の下で最適なリーチビリティを計算できる一般的な非線形システムに対する一般的な形式的検証ツールである。
この作業は、HJローバーを介してRobust Verification Controllersのための、HJベースのリーチビリティベースのシステム検証フレームワークである。
本稿では,Ro-CoReの安全性検証とコントローラ設計のための新しい手法を提案する。
論文 参考訳(メタデータ) (2025-11-18T18:55:20Z) - Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
この文献レビューは、急速に進化するAI安全性評価の分野を集約する。
それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
論文 参考訳(メタデータ) (2025-05-08T16:55:07Z) - The Great Nugget Recall: Automating Fact Extraction and RAG Evaluation with Large Language Models [53.12387628636912]
本稿では,人間のアノテーションに対して評価を行う自動評価フレームワークを提案する。
この手法は2003年にTREC Question Answering (QA) Trackのために開発された。
完全自動ナゲット評価から得られるスコアと人間に基づく変種とのランニングレベルでの強い一致を観察する。
論文 参考訳(メタデータ) (2025-04-21T12:55:06Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳(メタデータ) (2022-08-23T05:02:09Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳(メタデータ) (2020-10-19T11:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。