論文の概要: From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization

• arxiv url: http://arxiv.org/abs/2609.19630v1
• Date: Thu, 17 Sep 2026 03:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.076792
• Title: From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization
• Title（参考訳）: インテントからアクションへ:車載音声コマンド認証におけるLLM安全性のベンチマーク
• Abstract要約: 大型言語モデル(LLM)は、車載音声アシスタントにますます統合されている。 しかし、自然言語リクエストを車両機能にリンクすることは、安全クリティカルな認証問題を引き起こす。 基準決定を用いた202-scenarioベンチマークを7クラス分類で導入する。 決定アライメント(Decision Alignment)とセーフティ固有のエラーメトリクスを用いて,2つのローカルオープンウェイトモデルと3つのAPIベースのLCMを評価した。
• 参考スコア（独自算出の注目度）: 3.2125893653148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly integrated into vehicle voice assistants. But linking natural-language requests to vehicle functions creates a safety-critical authorization problem. Before executing a command, the system must choose whether to execute, refuse, clarify, require confirmation, defer to manual control, trigger an emergency response, or make no tool call. To our knowledge, prior evaluations do not isolate this pre-action decision across speaker role, authentication status, vehicle state, and tool availability. We introduce a 202-scenario benchmark with Reference Decisions under a seven-class taxonomy. We evaluate two local open-weight models and three API-based LLMs using Decision Alignment and safety-specific error metrics. Alignment ranges from 40.1% for Llama 3.2 3B to 89.1% for Gemini 3.1 Pro Preview. The API-based models score between 83.2% and 89.1%, with no statistically significant differences among them. Even these models produce two to three False Executes among 161 non-execution scenarios, and persistent errors remain in confirmation and manual-control decisions. A controlled Llama 3.2 3B ablation increases alignment to 40.1% under the structured authorization policy, versus 28.2-29.2% under schema-only and generic-safety baselines, but it does not eliminate False Executes. Structured LLM decisions are therefore insufficient as a standalone safety mechanism, and deployment requires an independent enforcement layer that verifies tool permissions and vehicle-state constraints before invoking any vehicle function.
• Abstract（参考訳）: 大型言語モデル(LLM)は、車載音声アシスタントにますます統合されている。 しかし、自然言語リクエストを車両機能にリンクすることは、安全クリティカルな認証問題を引き起こす。 コマンドを実行する前に、システムは実行、拒否、明確化、確認の要求、手動制御の延期、緊急応答のトリガー、ツールコールの禁止を選択する必要がある。 我々の知る限り、事前評価は、話者の役割、認証状況、車両の状態、ツールの可用性をまたいで、この事前行動決定を分離しない。 基準決定を用いた202-scenarioベンチマークを7クラス分類で導入する。 決定アライメント(Decision Alignment)とセーフティ固有のエラーメトリクスを用いて,2つのローカルオープンウェイトモデルと3つのAPIベースのLCMを評価した。 アライメントは、Llama 3.2 3Bで40.1%、Gemini 3.1 Pro Previewで89.1%である。 APIベースのモデルは83.2%から89.1%で、統計的に有意な違いはない。 これらのモデルでさえ161の非実行シナリオのうち2～3の偽実行を生成し、持続的なエラーは確認と手動による制御決定に残る。 制御されたLlama 3.2 3Bアブレーションは、構造化された認証ポリシーの下で40.1%、スキーマのみのベースラインとジェネリックセーフティベースラインで28.2-29.2%のアライメントを増大させるが、False Executesを排除しない。 したがって、構造的LCM決定はスタンドアロンの安全メカニズムとして不十分であり、車両機能を呼び出す前に、ツールの許可と車両状態の制約を検証する独立した執行層が必要である。

関連論文リスト

• SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
  SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。 6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。 タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
  論文  参考訳（メタデータ） (2026-09-10T07:34:44Z)
• Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
  本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
  論文  参考訳（メタデータ） (2026-09-01T09:08:15Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents [0.0]
  12個の生産スタブに4つのサイレント障害プロファイルを注入する、軽量なブラックボックス監査フレームワークを導入する。 我々は,HSR(Honest Surrender),製造(FAR),不信の安全拒絶(Unfaithful Safety Refusal)が支配的であることを発見した。 USRは、システム内の安全語彙が政策論理を素数に促すと活性化される潜伏行動である。
  論文  参考訳（メタデータ） (2026-07-21T13:23:05Z)
• Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
  Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。 Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。 本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:56:30Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。