論文の概要: MulRobBench: A Decision-Level Benchmark for Safe and Security-Policy-Compliant Multimodal UAV Agents
- arxiv url: http://arxiv.org/abs/2607.23870v1
- Date: Sun, 26 Jul 2026 22:23:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.258281
- Title: MulRobBench: A Decision-Level Benchmark for Safe and Security-Policy-Compliant Multimodal UAV Agents
- Title（参考訳）: MulRobBench: 安全でセキュアなマルチモーダルUAVエージェントのための決定レベルベンチマーク
- Authors: Belal S. Alsinglawi, Weizheng Wang, Junyi Wu, Yi Jiang, Lianhai Lin, Merouane Debbah, Izzat Alsmadi,
- Abstract要約: MulRobBenchは、スマートシティ環境におけるVision-Language-Action (VLA) UAVエージェントのプロトコル条件ベンチマークである。
実際のUAVマルチモーダル観測、プロトコルレベルのセキュリティポリシー、アクションレベルのサイバー物理安全性を統一された評価フレームワークに統合する。
- 参考スコア（独自算出の注目度）: 11.414084017860246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Smart-city airspace is transforming Uncrewed Aerial Vehicles (UAVs) from passive sensing platforms into cyber-physical decision makers that must follow operational rules under degraded observations and ambiguous language. Existing UAV and multimodal benchmarks evaluate perception, navigation, collaboration, and reasoning, but few assess whether physical evidence, protocol constraints, and action risk remain coupled during critical decisions. We introduce MulRobBench, an offline, protocol-conditioned benchmark for Vision-Language-Action (VLA) UAV agents in smart-city environments. MulRobBench integrates real UAV multimodal observations, protocol-level security policies, and action-level cyber-physical safety into a unified evaluation framework. The benchmark contains 3,024 samples spanning 17 task taxonomy nodes and 12 scoring dimensions across four stages: operational context understanding, multimodal evidence arbitration, degradation-aware reasoning, and risk-aware action planning. Evaluation combines semantic scoring with structural diagnostics, including policy compliance, format compliance, unsafe actions, parsing failures, and dimension-level validity. Across 17 multimodal models, the best semantic protocol-decision score reaches only 0.5141, while the best strict mean scoring-dimension accuracy is 0.1599. A controlled 20-anchor modality-ablation study changes 4-15 action selections per model, confirming that both visual and textual inputs influence decisions. Analysis identifies modality-trust selection, constraint extraction, glare, missing data, and operator shorthand as the primary causes of decision instability. MulRobBench provides a reproducible benchmark for trustworthy multimodal UAV decision making under realistic operational constraints.
- Abstract（参考訳）: スマートシティの空域は、無人航空機(UAV)を受動的センシングプラットフォームから、劣化した観察とあいまいな言語の下で運用ルールに従う必要があるサイバー物理的意思決定者へと変えようとしている。
既存のUAVおよびマルチモーダルベンチマークは、知覚、ナビゲーション、協調、推論を評価するが、物理的な証拠、プロトコルの制約、行動リスクが重要な決定の間に結合されているかどうかを評価することは少ない。
スマートシティ環境でのVLA(Vision-Language-Action)UAVエージェントのオフライン・プロトコル条件ベンチマークであるMulRobBenchを紹介する。
MulRobBenchは、実際のUAVマルチモーダル観測、プロトコルレベルのセキュリティポリシー、アクションレベルのサイバー物理安全性を統一された評価フレームワークに統合する。
ベンチマークには17のタスク分類ノードに3,024のサンプルと、運用コンテキスト理解、マルチモーダルエビデンス仲裁、劣化認識推論、リスク対応行動計画の4段階にわたる12の評価次元が含まれている。
評価は、セマンティックスコアリングと、ポリシーコンプライアンス、フォーマットコンプライアンス、安全でないアクション、解析失敗、次元レベルの妥当性などの構造診断を組み合わせる。
17のマルチモーダルモデルにおいて、最高のセマンティック・プロトコル・ディシジョンスコアは0.5141であり、最も厳密な平均スコア・ディメンジョン精度は0.1599である。
制御された20アンカーのモダリティ・アブレーション研究は、モデル毎に4～15のアクション選択を変更し、視覚的入力とテキスト入力の両方が決定に影響を及ぼすことを確認した。
分析は、モダリティ・トラスト選択、制約抽出、グラア、欠落データ、およびオペレータ・ショートハンドを意思決定不安定の主な原因として特定する。
MulRobBenchは、現実的な運用上の制約の下で、信頼できるマルチモーダルUAV決定のための再現可能なベンチマークを提供する。
関連論文リスト
- Semantic Quorum Assurance: Collective Certification for Non-Deterministic AI Infrastructure [2.124730017640531]
非決定論的エージェント基盤を管理するためのコントロールプレーンプリミティブであるQuorum Semantic Assurance(SQA)を紹介する。
SQAは暗号エビデンスチェーンに縛られた宣言的実行契約として提案を表現し、それを読み取り専用でサンドボックス化されたバリデータエージェントのさまざまなパネルにルーティングする。
インフラにインスパイアされた500の突然変異シナリオでは、曖昧なシナリオを除く安全/安全でない試験の安全性が報告され、SQAはシングルエージェント検証の18.5%から0.3%まで安全でない承認を減じている。
論文 参考訳（メタデータ） (2026-06-06T07:31:04Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use [6.622648583261088]
エージェント言語モデルは、単一のミスステップが不可逆的な害を引き起こす可能性のあるロングホライゾンアクションを計画、呼び出し、実行しなければなりません。
安全判断を明確化し,学習可能にすることで,エージェントを安全なマルチステップツール使用に整合させるフレームワークであるMOSAICを紹介する。
以上の結果から,MOSAICは有害行為を最大50%減らし,インジェクション攻撃で20%以上減らし,プライバシリークを減らし,良質なタスク性能を保ち,改善することを示した。
論文 参考訳（メタデータ） (2026-03-03T17:59:35Z) - CreditAudit: 2$^\text{nd}$ Dimension for LLM Evaluation and Selection [44.251742023911135]
CreditAuditはデプロイ指向の信用監査フレームワークで、セマンティックアライメントと非敵対的なシステムプロンプトテンプレートのファミリ下でモデルを評価する。
同様の平均能力を持つモデルは、かなり異なる変動を示し、安定リスクは、エージェントまたは高失敗コストの制度における優先順位決定を覆す可能性があることを示す。
論文 参考訳（メタデータ） (2026-01-23T07:53:25Z) - GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision [47.99880677909197]
GuardTrace-VLは、共同画像テキスト分析を通じてQTAパイプライン全体を監視する、視覚対応の安全監査ツールである。
本研究では,データ修正プロセスと組み合わさった3段階のプログレッシブトレーニング手法を提案する。
提案したテストセットでは、ドメイン内シナリオとドメイン外シナリオの両方を対象として、安全でない推論検出タスクにおいて、GuardTrace-VLモデルがF1スコア93.1%を達成した。
論文 参考訳（メタデータ） (2025-11-26T02:49:51Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。