論文の概要: When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI
- arxiv url: http://arxiv.org/abs/2608.28518v1
- Date: Fri, 28 Aug 2026 16:55:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.415156
- Title: When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI
- Title（参考訳）: ロボットが誤る:音声制御型体操AIの安全性リスクのマッピング
- Abstract要約: ユーザ入力における自動音声認識(ASR)エラーが、Embodied AI(EAI)モデルからの安全でない出力につながるかどうかを検討する。
ASRエラーは,EAIモデルによる有害な命令の受け入れや実行を招き,安全性を低下させる可能性がある。
- 参考スコア（独自算出の注目度）: 2.1849731272051813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate whether automatic speech recognition (ASR) errors in user input can lead to unsafe outputs from Embodied AI (EAI) models. We find that ASR errors can lead to harmful instructions being accepted and executed by EAI models, thereby reducing safety. We simulate ASR errors and combine them with existing safety benchmarks (SafeAgentBench and POEX) to evaluate how different errors affect embodied AI safety. We find that some of them preserve semantic structure but increase harmful ambiguity, while others weaken the model refusal behaviour and allow unsafe plans to be generated and executed. We show that in some cases automatic correction of ASR errors can reduce the risk, but this is not always effective. Overall, we show that ASR errors lead to significant safety risks for embodied AI.
- Abstract（参考訳）: ユーザ入力における自動音声認識(ASR)エラーが、Embodied AI(EAI)モデルからの安全でない出力につながるかどうかを検討する。
ASRエラーは,EAIモデルによる有害な命令の受け入れや実行を招き,安全性を低下させる可能性がある。
ASRエラーをシミュレートし、既存の安全ベンチマーク(SafeAgentBenchとPOEX)と組み合わせて、異なるエラーがAIの安全性にどのように影響するかを評価する。
セマンティックな構造を保ちながら有害なあいまいさを増大させるものもあれば、モデル拒絶の振る舞いを弱め、安全でない計画の生成と実行を可能にしているものもある。
ASRエラーの自動修正がリスクを低減できるケースもあるが,必ずしも有効ではない。
全体として、AIを具現化した場合、ASRエラーが重大な安全性のリスクをもたらすことが示されている。
関連論文リスト
- SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models [46.968844120076916]
実装エージェントベンチマークALFRED上に構築されたSafetyALFREDを紹介し,実際のキッチンハザードの6つのカテゴリを拡張した。
我々は,リスク認識だけでなく,具体的計画によるアクティブなリスク軽減についても,11種類の最先端モデルを評価した。
論文 参考訳（メタデータ） (2026-04-21T16:27:20Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳（メタデータ） (2026-04-07T08:43:36Z) - Safety Not Found (404): Hidden Risks of LLM-Based Robotics Decision Making [12.400383981686801]
安全クリティカルな環境でのAIシステムによる1つの間違いは、命がかかる可能性がある。
大きな言語モデル(LLM)がロボットの意思決定に不可欠なものになると、リスクの物理的次元が大きくなる。
本稿では,軽微な誤りであっても破滅的なシナリオにおいて,LCMの性能を体系的に評価する緊急的必要性について論じる。
論文 参考訳（メタデータ） (2026-01-09T05:04:15Z) - From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails [12.84192844049763]
ほとんどのAIガードレールは、ラベル付きデータセットと人間の特定基準に基づいた出力分類に依存している。
私たちはAIシステムのアウトプットをリアルタイムで監視し、安全なアウトプットに対して積極的に修正する予測ガードレールを構築します。
シミュレーション運転とeコマース設定の実験では、制御理論のガードレールが破滅的な結果を確実に排除できることを示した。
論文 参考訳（メタデータ） (2025-10-15T16:30:57Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。
Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。
私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
論文 参考訳（メタデータ） (2025-09-02T03:04:27Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。
タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。
また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
論文 参考訳（メタデータ） (2024-12-30T13:12:27Z) - On Safety Assessment of Artificial Intelligence [0.0]
人工知能の多くのモデル、特に機械学習は統計モデルであることを示す。
危険なランダム障害の予算の一部は、AIシステムの確率論的欠陥行動に使用される必要がある。
我々は、安全関連システムにおけるAIの利用に決定的な研究課題を提案する。
論文 参考訳（メタデータ） (2020-02-29T14:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。