論文の概要: SafePath: Conformal Prediction for Safe LLM-Based Autonomous Navigation

• arxiv url: http://arxiv.org/abs/2505.09427v1
• Date: Wed, 14 May 2025 14:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.491942
• Title: SafePath: Conformal Prediction for Safe LLM-Based Autonomous Navigation
• Title（参考訳）: SafePath: 安全なLLMベースの自律ナビゲーションのためのコンフォーマル予測
• Authors: Achref Doula, Max Mühläuser, Alejandro Sanchez Guinea,
• Abstract要約: SafePathは,LLM(Large Language Models)を公式な安全保証とともに拡張するフレームワークである。 第1段階では,多様な候補経路を生成するLCMを用いて,エージェントの挙動と環境条件に基づく軌道探索を行う。 第2段階では、SafePathはリスクの高いトラジェクトリをフィルタリングし、少なくとも1つのセーフオプションがユーザ定義の確率に含まれていることを保証します。 最終段階では,不確実性が低い場合や不確実性が高い場合,人間に制御を委譲する場合の衝突リスクが最も低い経路を選択する。
• 参考スコア（独自算出の注目度）: 46.498278084317704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) show growing promise in autonomous driving by reasoning over complex traffic scenarios to generate path plans. However, their tendencies toward overconfidence, and hallucinations raise critical safety concerns. We introduce SafePath, a modular framework that augments LLM-based path planning with formal safety guarantees using conformal prediction. SafePath operates in three stages. In the first stage, we use an LLM that generates a set of diverse candidate paths, exploring possible trajectories based on agent behaviors and environmental cues. In the second stage, SafePath filters out high-risk trajectories while guaranteeing that at least one safe option is included with a user-defined probability, through a multiple-choice question-answering formulation that integrates conformal prediction. In the final stage, our approach selects the path with the lowest expected collision risk when uncertainty is low or delegates control to a human when uncertainty is high. We theoretically prove that SafePath guarantees a safe trajectory with a user-defined probability, and we show how its human delegation rate can be tuned to balance autonomy and safety. Extensive experiments on nuScenes and Highway-env show that SafePath reduces planning uncertainty by 77\% and collision rates by up to 70\%, demonstrating effectiveness in making LLM-driven path planning more safer.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な交通シナリオを推論してパス計画を生成することで、自律運転における期待が高まることを示している。 しかし、過信への傾向や幻覚は重大な安全上の懸念を引き起こす。 我々は,ILMをベースとした経路計画のモジュール化フレームワークであるSafePathを紹介した。 SafePathは3つのステージで運用されている。 第1段階では,多様な候補経路を生成するLCMを用いて,エージェントの挙動と環境条件に基づく軌道探索を行う。 第2段階では、SafePathは、少なくとも1つの安全なオプションがユーザ定義の確率に含まれることを保証しつつ、共形予測を統合した複数選択質問回答の定式化によって、ハイリスクなトラジェクトリをフィルタリングする。 最終段階では,不確実性が低い場合や不確実性が高い場合,人間に制御を委譲する場合の衝突リスクが最も低い経路を選択する。 我々はSafePathがユーザ定義の確率で安全な軌道を保証することを理論的に証明し、自律性と安全性のバランスをとるために、その人事率をどのように調整できるかを示す。 nuScenes と Highway-env の大規模な実験により、SafePath は計画の不確実性を 77 % 削減し、衝突速度を 70 % 削減し、LCM 駆動の経路計画をより安全にする効果を示した。

関連論文リスト

• SafetyAnalyst: Interpretable, transparent, and steerable safety moderation for AI behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 あらゆる有害かつ有益な効果を、完全に解釈可能な重みパラメータを用いて有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Automated and Complete Generation of Traffic Scenarios at Road Junctions Using a Multi-level Danger Definition [2.5608506499175094]
  本稿では,任意の道路交差点において,完全な(潜在的に危険な)抽象シナリオを導出する手法を提案する。 これらの抽象的なシナリオから、アクターがシミュレーションベースのテストをガイドするために従わなければならない正確なパスを導き出す。 その結果, AV-under-test はシミュレーションにおける不安全行動の割合の増加に関与していることがわかった。
  論文  参考訳（メタデータ） (2024-10-09T17:23:51Z)
• Safe Policy Exploration Improvement via Subgoals [44.07721205323709]
  強化学習(Reinforcement learning)は、自律ナビゲーションにおいて広く使われているアプローチであり、様々なタスクやロボットのセットアップの可能性を示している。 このようなセットアップでパフォーマンスが低かった理由の1つは、安全制約を尊重する必要性がRLエージェントの探索能力を低下させることである。 本稿では,初期問題を中間目標を介し,より小さなサブプロブレムに分解する新しい学習可能アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-25T16:12:49Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Optimizing Trajectories for Highway Driving with Offline Reinforcement Learning [11.970409518725491]
  自律運転に対する強化学習に基づくアプローチを提案する。 我々のエージェントの性能を他の4つのハイウェイ運転エージェントと比較する。 ランダムに収集されたデータを持つオフライントレーニングエージェントが、望ましい速度に可能な限り近い速度で、他のエージェントよりも優れた速度で、スムーズに駆動することを学ぶことを実証します。
  論文  参考訳（メタデータ） (2022-03-21T13:13:08Z)
• Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? [104.04999499189402]
  トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。 インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。 提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。 分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
  論文  参考訳（メタデータ） (2020-06-26T11:07:32Z)
• Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning [16.69903761648675]
  信号のない交差点を走行するための高レベル動作を学習するための一般的なリスク認識型DQNアプローチを提案する。 提案された状態表現は、マルチレーンシナリオで使用できるレーンベースの情報を提供する。 また,衝突事故だけでなく,危険事態を罰するリスクベース報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。