論文の概要: Breaking Planner Integrity Boundary: Enviroment State-Text Injection Attack on LLM-Driven Embodied Agents
- arxiv url: http://arxiv.org/abs/2608.16806v2
- Date: Tue, 18 Aug 2026 16:31:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 13:35:39.215981
- Title: Breaking Planner Integrity Boundary: Enviroment State-Text Injection Attack on LLM-Driven Embodied Agents
- Title(参考訳): ブレーキングプランナーの積分境界: LLM駆動型炭水化物に対する環境状態テキスト注入攻撃
- Abstract要約: 本稿では,大規模言語モデル(LLM)駆動型エンボディエージェントに対する環境状態テキストインジェクション(ESTI)攻撃について紹介する。
ESTIは、敵の目的を現在の環境と互換性のある偽の状態証拠として再構成する。
ESTIは既存のベースラインを一貫して上回り、計画レベルと実行レベルの攻撃成功率をそれぞれ89.32%、43.69%改善している。
- 参考スコア(独自算出の注目度): 19.561832878935505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM)-driven embodied agents rely on environment states to interpret scenes, generate high-level plans, and drive physical execution, making planner-visible state representations a critical security boundary. Existing attacks primarily manipulate user instructions, prompt contexts, model behavior, or perceptual inputs, while paying limited attention to whether environment-state text itself can serve as deceptive task evidence and propagate beyond planning to affect execution outcomes. Because embodied tasks are constrained by entity grounding, action preconditions, spatial relations, and environmental constraints, planning deviation alone does not guarantee adversarial execution. To address this gap, we investigate environment-state text as an independent attack surface and present the first closed-loop Environment State-Text Injection (ESTI) attack for LLM-driven embodied agents. Without modifying the original user instruction, model parameters, or executor, ESTI reformulates an adversarial objective as false state evidence compatible with the current environment and influences planning and execution through object properties, spatial relations, affordances, task-stage rules, and execution feedback. We further develop ESTI-Bench to evaluate attack propagation across the planning-to-execution closed loop and compare ESTI with Vanilla IPI, EIRAD, and BADROBOT across ProgPrompt/VirtualHome, VoxPoser/RLBench, and AI2-THOR/iTHOR. ESTI consistently outperforms existing baselines, improving planning-level and execution-level attack success rates by up to 89.32\% and 43.69\%, respectively. Further analysis shows that grounding, consistency, and executability jointly determine whether manipulated state evidence can propagate through the embodied closed loop and produce verifiable environmental changes.
- Abstract(参考訳): LLM(Large Language Model)駆動のエンボディエージェントは、環境状態に依存してシーンを解釈し、ハイレベルな計画を生成し、物理的実行を駆動し、プランナー可視な状態表現を重要なセキュリティ境界とする。
既存の攻撃は、ユーザー命令、プロンプトコンテキスト、モデル行動、知覚入力を主に操作する一方で、環境状態のテキスト自体が偽のタスクエビデンスとして機能し、実行結果に影響を与える計画を超えて伝播するかどうかに限定的な注意を払っている。
具体的タスクは、実体的根拠、行動前提条件、空間的関係、環境制約によって制約されるため、計画上の逸脱だけでは敵の処刑は保証されない。
このギャップに対処するため、環境状態テキストを独立した攻撃面として調査し、LCM駆動型エンボディエージェントに対する最初の閉鎖ループ環境状態テキストインジェクション(ESTI)アタックを提示する。
ESTIは、元のユーザ命令、モデルパラメータ、または実行子を変更することなく、敵の目的を現在の環境と互換性のある偽の状態証拠として再定義し、オブジェクト特性、空間的関係、余裕、タスクステージルール、実行フィードバックを通じて計画と実行に影響を与える。
さらに,計画から実行までのクローズドループにおける攻撃伝播を評価するESTI-Benchを開発し,Vanilla IPI,EIRAD,BADROBOTをProgPrompt/VirtualHome,VoxPoser/RLBench,AI2-THOR/iTHORで比較した。
ESTIは既存のベースラインを一貫して上回り、計画レベルと実行レベルの攻撃成功率をそれぞれ89.32\%と43.69\%に改善している。
さらなる分析により、接地、一貫性、実行可能性により、操作された状態証拠が閉ループを介して伝播し、検証可能な環境変化をもたらすかどうかを共同で決定できることが示された。
関連論文リスト
- FutureRTC: Real-Time Robot Execution with Anticipatory-Conditioned Action Chunking [51.97839311685636]
FutureRTCは、実行時の観察と非同期VLA制御の状態を予測するためのプラグイン・アンド・プレイ適応フレームワークである。
FutureRTCは推論遅延に対する堅牢性を実現し,よりスムーズな軌道,高速な実行,一貫したタスク成功率を実現している。
論文 参考訳(メタデータ) (2026-07-27T05:10:16Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳(メタデータ) (2026-07-18T04:46:53Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳(メタデータ) (2026-06-11T14:12:43Z) - PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement [22.285969725581044]
大規模言語モデル(LLM)ベースのエージェントは、実行時に失敗するように見える一貫性のある計画を生成する。
PIVOTは、トラジェクトリを最適化可能なオブジェクトとして、環境相互作用を通じて反復的に洗練する自己管理フレームワークを通じて、この計画実行ミスアライメントに対処する。
論文 参考訳(メタデータ) (2026-05-11T20:43:20Z) - Autonomous Adversary: Red-Teaming in the age of LLM [1.4302803674538154]
言語モデルエージェント(LMA)は、レッドチーム操作を増強するための強力なプリミティブとして現れている。
我々は、これらのエージェントが中核攻撃機能とどのように交わるかを分析し、現在の強度と限界を評価する。
制御された対向エミュレーション環境における2つの横移動シナリオのLMAをベンチマークする。
論文 参考訳(メタデータ) (2026-05-07T16:07:41Z) - TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。
本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。
我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
論文 参考訳(メタデータ) (2026-03-25T17:56:32Z) - FATE: Closed-Loop Feasibility-Aware Task Generation with Active Repair for Physically Grounded Robotic Curricula [8.106402582760406]
本稿では,タスク生成を反復的検証・修正プロセスとして再定義するクローズドループ自己修正フレームワークであるFATEを提案する。
FATEはジェネラリストの具体化エージェントを生成ループに直接埋め込んで、結果のカリキュラムの物理的根拠を積極的に保証する。
論文 参考訳(メタデータ) (2026-03-02T06:29:42Z) - V-CAGE: Context-Aware Generation and Verification for Scalable Long-Horizon Embodied Tasks [6.820118518027692]
V-CAGEは、大規模なセマンティックアライメントデータセットを生成するクローズドループフレームワークである。
本研究では,シーン合成における幾何学的整合性を実現する文脈認識型インスタンス化機構を提案する。
また、階層的な命令分解モジュールを用いて、抽象意図と低レベル制御のギャップを埋める。
論文 参考訳(メタデータ) (2026-01-21T16:41:51Z) - Process-Level Trajectory Evaluation for Environment Configuration in Software Engineering Agents [71.85020581835042]
大規模言語モデルベースのエージェントは、ソフトウェアエンジニアリングの約束を示すが、環境構成はボトルネックのままである。
既存のベンチマークでは、エンドツーエンドのビルド/テストの成功のみを評価し、エージェントが成功または失敗する場所と理由を見極めている。
本研究では,環境設定計画中の細粒度エージェントのプロセスレベルの軌道評価を行うEnconda-benchを紹介する。
論文 参考訳(メタデータ) (2025-10-29T16:59:07Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
我々はLLaRA: Large Language and Robotics Assistantを紹介した。
まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。
このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
論文 参考訳(メタデータ) (2024-06-28T17:59:12Z) - Object-Centric Instruction Augmentation for Robotic Manipulation [29.491990994901666]
我々は,高度にセマンティックで情報に富んだ言語命令を位置情報で拡張するために,textitObject-Centric Instruction Augmentation (OCI)フレームワークを導入する。
MLLM(Multi-modal Large Language Model)を用いて,オブジェクト位置の知識を自然言語に織り込む。
我々は,ロボットマニピュレータの模倣政策が,従来の言語指導にのみ依存する者よりも優れていることを実証した。
論文 参考訳(メタデータ) (2024-01-05T13:54:45Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic
Control [140.48218261864153]
本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。
提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
論文 参考訳(メタデータ) (2023-07-28T21:18:02Z) - LARG, Language-based Automatic Reward and Goal Generation [8.404316955848602]
テキストベースのタスク記述をそれに対応する報酬とゴール生成関数に変換するアプローチを開発する。
ロボット操作に対する我々のアプローチを評価し、スケーラブルな方法でポリシーを訓練および実行できることを実証する。
論文 参考訳(メタデータ) (2023-06-19T14:52:39Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。