論文の概要: CHAI: Command Hijacking against embodied AI

• arxiv url: http://arxiv.org/abs/2510.00181v1
• Date: Tue, 30 Sep 2025 19:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.213677
• Title: CHAI: Command Hijacking against embodied AI
• Title（参考訳）: CHAI:AIの具体化に反対するコマンドハイジャック
• Authors: Luis Burbano, Diego Ortiz, Qi Sun, Siwei Yang, Haoqin Tu, Cihang Xie, Yinzhi Cao, Alvaro A Cardenas,
• Abstract要約: CHAI(Command Hijacking against embodied AI)は、LVLM(Large Visual-Language Models)のマルチモーダル言語解釈能力を活用した、新しいプロンプトベースの攻撃である。 CHAIは、誤解を招く標識や視覚的な入力、トークン空間の体系的な検索、プロンプトの辞書の作成、そして視覚的アタック・プロンプットを生成するためにアタックモデルを誘導するなど、偽りの自然言語命令を組み込む。 我々は、ドローン緊急着陸、自律走行、空中物体追跡の4つのLVLMエージェントと、実際のロボット車両についてCHAIを評価した。
• 参考スコア（独自算出の注目度）: 41.9483699766073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied Artificial Intelligence (AI) promises to handle edge cases in robotic vehicle systems where data is scarce by using common-sense reasoning grounded in perception and action to generalize beyond training distributions and adapt to novel real-world situations. These capabilities, however, also create new security risks. In this paper, we introduce CHAI (Command Hijacking against embodied AI), a new class of prompt-based attacks that exploit the multimodal language interpretation abilities of Large Visual-Language Models (LVLMs). CHAI embeds deceptive natural language instructions, such as misleading signs, in visual input, systematically searches the token space, builds a dictionary of prompts, and guides an attacker model to generate Visual Attack Prompts. We evaluate CHAI on four LVLM agents; drone emergency landing, autonomous driving, and aerial object tracking, and on a real robotic vehicle. Our experiments show that CHAI consistently outperforms state-of-the-art attacks. By exploiting the semantic and multimodal reasoning strengths of next-generation embodied AI systems, CHAI underscores the urgent need for defenses that extend beyond traditional adversarial robustness.
• Abstract（参考訳）: Embodied Artificial Intelligence(AI)は、認識と行動に根ざした常識的推論を使用して、トレーニングディストリビューションを超えて、新しい現実世界の状況に適応することで、データが不足しているロボットシステムのエッジケースを処理することを約束している。 しかし、これらの能力は新たなセキュリティリスクも生み出す。 本稿では,LVLM(Large Visual-Language Models)のマルチモーダル言語解釈能力を活用した,新たなプロンプトベースの攻撃手法であるCHAI(Command Hijacking against embodied AI)を紹介する。 CHAIは、誤解を招く標識や視覚的な入力、トークン空間の体系的な検索、プロンプトの辞書の作成、そして視覚的アタック・プロンプットを生成するためにアタックモデルを誘導するなど、偽りの自然言語命令を組み込む。 我々は、ドローン緊急着陸、自律走行、空中物体追跡の4つのLVLMエージェントと、実際のロボット車両についてCHAIを評価した。 実験の結果,CHAIは最先端の攻撃を一貫して上回っていることがわかった。 次世代のインボディードAIシステムのセマンティックおよびマルチモーダル推論の強みを活用することで、CHAIは、従来の敵の堅牢性を超えて広がる防衛に対する緊急の必要性を浮き彫りにしている。

関連論文リスト

• Design and Implementation of a Secure RAG-Enhanced AI Chatbot for Smart Tourism Customer Service: Defending Against Prompt Injection Attacks -- A Case Study of Hsinchu, Taiwan [0.0]
  本稿では,Hsinchuスマート観光サービスのためのセキュア検索強化型チャットボットの設計と実装について述べる。 このシステムは、API関数呼び出し、多層言語分析、インジェクションに対するガードレールとRAGを統合している。 674の対向的プロンプトと223の良性クエリによる評価は、良性タスクに対する95%以上の精度を示し、インジェクション攻撃をかなり検出した。
  論文  参考訳（メタデータ） (2025-09-22T11:40:29Z)
• ANNIE: Be Careful of Your Robots [48.89876809734855]
  エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
  論文  参考訳（メタデータ） (2025-09-03T15:00:28Z)
• BounTCHA: A CAPTCHA Utilizing Boundary Identification in Guided Generative AI-extended Videos [4.873950690073118]
  ボットは、既存のCAPTCHAシステムの多くをバイパスし、Webアプリケーションに重大なセキュリティ上の脅威を生じさせている。 ビデオのトランジションやディスラプションにおける境界に対する人間の認識を活用するCAPTCHA機構であるBounTCHAの設計と実装を行う。 我々は,境界同定における人間の時間偏差データ収集のためのプロトタイプを開発し,実験を行った。
  論文  参考訳（メタデータ） (2025-01-30T18:38:09Z)
• Poison Attacks and Adversarial Prompts Against an Informed University Virtual Assistant [3.0874677990361246]
  大規模言語モデル(LLM)は特に敵の攻撃に対して脆弱である。 AIベースのシステムの急速な開発ペースは、意思決定において人間を支援するジェネレーティブAI(GenAI)の可能性によって推進されている。 脅威アクターは、セキュリティギャップ、貧弱な保護、限られたデータガバナンスを使用して、システムとそのデータへの不正アクセスを許可する攻撃を実行することができる。
  論文  参考訳（メタデータ） (2024-11-03T05:34:38Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
  本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。 本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。 我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
  論文  参考訳（メタデータ） (2021-10-04T12:20:46Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。