論文の概要: A Superalignment Framework in Autonomous Driving with Large Language Models
- arxiv url: http://arxiv.org/abs/2406.05651v1
- Date: Sun, 9 Jun 2024 05:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:46:42.920069
- Title: A Superalignment Framework in Autonomous Driving with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた自律走行におけるスーパーアライメントフレームワーク
- Authors: Xiangrui Kong, Thomas Braunl, Marco Fahmi, Yue Wang,
- Abstract要約: 大規模言語モデル (LLM) と多モード大規模言語モデル (MLLM) は、自律運転において広く使われている。
その重要性にもかかわらず、自動運転におけるLLMのセキュリティの側面は未解明のままである。
本研究は,マルチエージェントLLMアプローチを利用した,自動運転車の新たなセキュリティフレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.650382010271
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Over the last year, significant advancements have been made in the realms of large language models (LLMs) and multi-modal large language models (MLLMs), particularly in their application to autonomous driving. These models have showcased remarkable abilities in processing and interacting with complex information. In autonomous driving, LLMs and MLLMs are extensively used, requiring access to sensitive vehicle data such as precise locations, images, and road conditions. These data are transmitted to an LLM-based inference cloud for advanced analysis. However, concerns arise regarding data security, as the protection against data and privacy breaches primarily depends on the LLM's inherent security measures, without additional scrutiny or evaluation of the LLM's inference outputs. Despite its importance, the security aspect of LLMs in autonomous driving remains underexplored. Addressing this gap, our research introduces a novel security framework for autonomous vehicles, utilizing a multi-agent LLM approach. This framework is designed to safeguard sensitive information associated with autonomous vehicles from potential leaks, while also ensuring that LLM outputs adhere to driving regulations and align with human values. It includes mechanisms to filter out irrelevant queries and verify the safety and reliability of LLM outputs. Utilizing this framework, we evaluated the security, privacy, and cost aspects of eleven large language model-driven autonomous driving cues. Additionally, we performed QA tests on these driving prompts, which successfully demonstrated the framework's efficacy.
- Abstract(参考訳): 昨年、大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)の領域において、特に自動運転への応用において大きな進歩が見られた。
これらのモデルは複雑な情報の処理と相互作用において顕著な能力を示した。
自動運転において、LSMとMLLMは広範囲に使われており、正確な位置、画像、道路条件などの機密データにアクセスする必要がある。
これらのデータは、高度な解析のためにLLMベースの推論クラウドに送信される。
しかし、データやプライバシー侵害に対する保護はLLM固有のセキュリティ対策に大きく依存するため、データセキュリティに関する懸念が生じる。
その重要性にもかかわらず、自動運転におけるLLMのセキュリティ面はいまだに解明されていない。
このギャップに対処するため,本研究では,マルチエージェントLLMアプローチを用いて,自動運転車の新たなセキュリティフレームワークを導入する。
このフレームワークは、自動運転車に関連する機密情報を潜在的リークから保護するとともに、LCM出力が運転規制に準拠し、人間の価値観に適合することを保証するように設計されている。
それは、無関係なクエリをフィルタリングし、LLM出力の安全性と信頼性を検証するメカニズムを含んでいる。
このフレームワークを利用することで、11の大規模言語モデル駆動自動運転キューのセキュリティ、プライバシ、コスト面を評価した。
さらに,これら駆動プロンプトのQA試験を行い,本フレームワークの有効性を実証した。
関連論文リスト
- DriveMLLM: A Benchmark for Spatial Understanding with Multimodal Large Language Models in Autonomous Driving [13.115027801151484]
自律運転におけるマルチモーダル大言語モデル(MLLM)の空間的理解能力を評価するためのベンチマークであるDriveMLLMを紹介する。
DriveMLLMには、880の前面カメライメージが含まれており、言語学的に多様な自然言語問題を伴う絶対的および相対的空間推論タスクが導入されている。
我々は,DriveMLLMにおける最先端MLLMの評価を行い,運転環境における複雑な空間的関係を理解する上での現在のモデルの限界を明らかにした。
論文 参考訳(メタデータ) (2024-11-20T08:14:01Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳(メタデータ) (2024-08-23T01:37:29Z) - Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events [5.233512464561313]
MLLM(Multimodal Large Language Models)は、テキスト、ビジュアル、オーディオのモダリティを統合する新しいアプローチを提供する。
我々のフレームワークはMLLMの推論能力を活用し、文脈固有のプロンプトを通して出力を誘導する。
予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示している。
論文 参考訳(メタデータ) (2024-06-19T23:50:41Z) - AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents [74.17623527375241]
AutoGuideは、オフライン体験における暗黙の知識を活用することで、事前訓練されたLLMの知識ギャップを埋める。
提案手法は, 逐次意思決定ベンチマークにおいて, 競争力のあるLCMベースラインよりも高い性能を示すことを示す。
論文 参考訳(メタデータ) (2024-03-13T22:06:03Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - ChatSOS: LLM-based knowledge Q&A system for safety engineering [0.0]
本研究では,LLMに基づく安全工学のQ&Aシステムを導入し,モデルの理解と応答精度を向上させる。
我々は、外部知識データベースを組み込むために、即時エンジニアリングを採用し、LLMを最新かつ信頼性の高い情報で強化する。
以上の結果から,外部知識の統合は,奥行き問題解析や自律的なタスク割り当てにおいて,LLMの能力を大幅に向上させることが示唆された。
論文 参考訳(メタデータ) (2023-12-14T03:25:23Z) - Evaluation of Large Language Models for Decision Making in Autonomous
Driving [4.271294502084542]
自律走行にLarge Language Models (LLMs)を使用する一つの戦略は、周囲のオブジェクトを LLM にテキストプロンプトとして入力することである。
このような目的のためにLLMを使用する場合、空間認識や計画などの能力は不可欠である。
本研究は、自律運転の文脈におけるLLMの2つの能力について定量的に評価した。
論文 参考訳(メタデータ) (2023-12-11T12:56:40Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳(メタデータ) (2023-11-28T03:13:09Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - LanguageMPC: Large Language Models as Decision Makers for Autonomous
Driving [87.1164964709168]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。
大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文 参考訳(メタデータ) (2023-10-04T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。