論文の概要: Agentic Harnesses: LLM-Driven Verification Layers for Robot Autonomy
- arxiv url: http://arxiv.org/abs/2608.09857v1
- Date: Mon, 10 Aug 2026 17:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.394369
- Title: Agentic Harnesses: LLM-Driven Verification Layers for Robot Autonomy
- Title(参考訳): エージェント・ハーネス:ロボット・オートノミーのためのLCM駆動検証層
- Abstract要約: 高度なAIシステムの開発は、実行可能なアクション計画モデルの提案を検証するのではなく、実行に重点を置いている。
本稿では,行動許容度を評価するために,計画と実行の間にLCMによる検証層を提案する。
対人攻撃の受け入れ/エスカレート/削除のカテゴリで約85%の精度を達成し、タスクの受け入れと拒否の間に無視可能な誤りと、エスカレート境界に主に現れるエラーを発生させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Advances in advanced artificial intelligence tools have sparked research in robot autonomy, but the development of such systems has largely focused on execution rather than verifying the feasibility actions planning models propose. Like general-purpose LLMs, robotics planning models carry risks: biased toward user-specified goals, they may suggest actions misaligned with scientific ethics, they may be unsafe due to an inability to "remember" prior safety risks, or they may be vulnerable to adversarial attacks on the autonomy ecosystem. We propose a LLM-driven verification layer between planning and execution to evaluate action permissibility. Our LLM-as-a-Judge ensemble combines chain-of-thought reasoning across models and synthesizes those expert judge outputs, mirroring a combination of a mixture of experts and self-consistency approach. This layer serves as middleware, gating plans from the server's planning module before they reach the MCP server and therefore the robot's low-level controls: plans are approved, rejected for reformulation, or escalated for human review. With this system, we achieve near 85% precision across accept/escalate/reject categories 97% containment of adversarial attacks, with negligible errors between accepting and rejecting tasks, and errors mostly manifesting at the escalate boundary.
- Abstract(参考訳): 高度な人工知能ツールの進歩は、ロボットの自律性の研究に拍車をかけたが、そのようなシステムの開発は、実現可能な行動計画モデルの提案を検証するのではなく、実行に重点を置いている。
汎用LLMと同様に、ロボット計画モデルにもリスクが伴う: ユーザーが特定した目標に偏り、科学的倫理に反する行動、事前の安全リスクを「記憶」できないために安全でないこと、自律エコシステムに対する敵の攻撃に弱いこと、などである。
本稿では,行動許容度を評価するために,計画と実行の間にLCMによる検証層を提案する。
我々のLLM-as-a-Judgeアンサンブルは、モデル間の連鎖推論を組み合わせ、専門家の判断出力を合成し、専門家と自己整合性の混在を反映します。
このレイヤはミドルウェアとして機能し、MSPサーバに到達する前にサーバーの計画モジュールから計画を立てる。
本システムでは,アセプション/エスカレート/リジェクトのカテゴリで約85%の精度を達成し,97%が敵攻撃を封じ込めている。
関連論文リスト
- Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:12:41Z) - When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents [43.702131498259384]
本稿では,新しいセマンティックアタックであるTDP(Tool Description Poisoning)を体系的に検討する。
TDPでは、悪意のある命令はツールの実行可能なコードに埋め込まれず、記述的なメタデータに隠蔽的に注入される。
この研究は、TDP用に調整された最初の特別なセキュリティベンチマークを提供し、高度なエージェントシステムの認知層と計画層の確保に不可欠な洞察を提供する。
論文 参考訳(メタデータ) (2026-05-22T08:34:48Z) - Propagating Unsafe Actions in LLM Controlled Multi-Robot Collaboration via Single Robot Compromise [26.689718481370903]
大規模言語モデル (LLMs) は、インテリジェンスにおける一般的なプランナーとしてますます使われている。
対戦相手が単一のエントリーロボットのみと対話するマルチロボットシステムに対する新たな攻撃パラダイムを提案する。
私たちはこのプロセスを3つのメトリクス、服従、伝染、ステルスネスで定量化します。
論文 参考訳(メタデータ) (2026-05-15T05:45:52Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳(メタデータ) (2026-05-12T04:59:47Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳(メタデータ) (2026-04-10T09:41:21Z) - LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios [51.52395368061729]
LPS-Benchは,長期作業下でのMPPベースのCUAの計画時安全意識を評価するベンチマークである。
実験は、安全な行動を維持する既存のCUAの能力に重大な欠陥があることを明らかにする。
MCPに基づくCUAシステムにおける長期計画の安全性向上のための緩和戦略を提案する。
論文 参考訳(メタデータ) (2026-02-03T08:40:24Z) - Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis [0.6749750044497732]
本稿では,Large Language Models (LLM) 制御ロボットを対象とした,データ駆動型リーチビリティ解析に基づく安全保証フレームワークを提案する。
我々のアプローチは、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。
論文 参考訳(メタデータ) (2025-03-05T21:23:15Z) - Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。
我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳(メタデータ) (2024-11-18T01:52:20Z) - Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。
LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。
この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
論文 参考訳(メタデータ) (2024-05-27T17:59:43Z) - On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。
LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Introspective Planning: Aligning Robots' Uncertainty with Inherent Task Ambiguity [0.659529078336196]
大規模言語モデル(LLM)は高度な推論能力を示し、ロボットが自然言語の指示を理解し、高レベルの行動を戦略的に計画することを可能にする。
LLMの幻覚は、ロボットがユーザー目標と不一致の計画を実行したり、クリティカルなシナリオでは安全でないりする可能性がある。
本稿では,LLMの不確かさとタスク固有のあいまいさを一致させる系統的手法であるイントロスペクティブプランニングを提案する。
論文 参考訳(メタデータ) (2024-02-09T16:40:59Z) - SABER: Data-Driven Motion Planner for Autonomously Navigating
Heterogeneous Robots [112.2491765424719]
我々は、データ駆動型アプローチを用いて、異種ロボットチームをグローバルな目標に向けてナビゲートする、エンドツーエンドのオンラインモーションプランニングフレームワークを提案する。
モデル予測制御(SMPC)を用いて,ロボット力学を満たす制御入力を計算し,障害物回避時の不確実性を考慮した。
リカレントニューラルネットワークは、SMPC有限時間地平線解における将来の状態の不確かさを素早く推定するために用いられる。
ディープQ学習エージェントがハイレベルパスプランナーとして機能し、SMPCにロボットを望ましいグローバルな目標に向けて移動させる目標位置を提供する。
論文 参考訳(メタデータ) (2021-08-03T02:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。