論文の概要: RAG-based Explainable Prediction of Road Users Behaviors for Automated Driving using Knowledge Graphs and Large Language Models
- arxiv url: http://arxiv.org/abs/2405.00449v1
- Date: Wed, 1 May 2024 11:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 15:57:39.026499
- Title: RAG-based Explainable Prediction of Road Users Behaviors for Automated Driving using Knowledge Graphs and Large Language Models
- Title(参考訳): RAGに基づく知識グラフと大規模言語モデルを用いた自動運転のための道路利用者行動の説明可能な予測
- Authors: Mohamed Manzour Hussien, Angie Nataly Melo, Augusto Luis Ballardini, Carlota Salinas Maldonado, Rubén Izquierdo, Miguel Ángel Sotelo,
- Abstract要約: 本稿では,知識グラフと大規模言語モデルの推論能力を統合した,道路利用者の行動予測システムを提案する。
1)歩行者の横断行動の予測,2)車線変更操作の予測。
- 参考スコア(独自算出の注目度): 8.253092044813595
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Prediction of road users' behaviors in the context of autonomous driving has gained considerable attention by the scientific community in the last years. Most works focus on predicting behaviors based on kinematic information alone, a simplification of the reality since road users are humans, and as such they are highly influenced by their surrounding context. In addition, a large plethora of research works rely on powerful Deep Learning techniques, which exhibit high performance metrics in prediction tasks but may lack the ability to fully understand and exploit the contextual semantic information contained in the road scene, not to mention their inability to provide explainable predictions that can be understood by humans. In this work, we propose an explainable road users' behavior prediction system that integrates the reasoning abilities of Knowledge Graphs (KG) and the expressiveness capabilities of Large Language Models (LLM) by using Retrieval Augmented Generation (RAG) techniques. For that purpose, Knowledge Graph Embeddings (KGE) and Bayesian inference are combined to allow the deployment of a fully inductive reasoning system that enables the issuing of predictions that rely on legacy information contained in the graph as well as on current evidence gathered in real time by onboard sensors. Two use cases have been implemented following the proposed approach: 1) Prediction of pedestrians' crossing actions; 2) Prediction of lane change maneuvers. In both cases, the performance attained surpasses the current state of the art in terms of anticipation and F1-score, showing a promising avenue for future research in this field.
- Abstract(参考訳): 自動運転の文脈における道路利用者の行動予測は,近年,科学界で注目されている。
ほとんどの研究は、運動情報だけで行動を予測することに集中しており、道路利用者が人間であることから現実の単純化であり、周囲の状況に強く影響されている。
加えて、大規模な研究は強力なディープラーニング技術に依存しており、予測タスクにおいて高いパフォーマンスのメトリクスを示すが、道路シーンに含まれる文脈意味情報を十分に理解し活用する能力が欠如している可能性がある。
本研究では,知識グラフ(KG)の推論能力とLarge Language Models(LLM)の表現能力をRetrieval Augmented Generation(RAG)技術を用いて統合した,道路利用者の行動予測システムを提案する。
その目的のために、知識グラフ埋め込み(KGE)とベイズ推論を組み合わせることで、グラフに含まれるレガシー情報や、オンボードセンサーによってリアルタイムで収集された現在の証拠に依存する予測の発行を可能にする、完全な帰納的推論システムの展開を可能にする。
提案されたアプローチに従って2つのユースケースが実施されている。
1)歩行者の横断行動の予測
2)車線変更操作の予測
どちらの場合も、達成されたパフォーマンスは、期待とF1スコアの観点から現在の最先端を越え、この分野における将来の研究の道筋を示す。
関連論文リスト
- GenFollower: Enhancing Car-Following Prediction with Large Language Models [11.847589952558566]
我々は、これらの課題に対処するために、大規模言語モデル(LLM)を活用する新しいゼロショットプロンプトアプローチであるGenFollowerを提案する。
我々は,車追従動作を言語モデリング問題として再編成し,不均一な入力をLLMのための構造化プロンプトに統合する。
オープンデータセットの実験は、GenFollowerの優れたパフォーマンスと解釈可能な洞察を提供する能力を示している。
論文 参考訳(メタデータ) (2024-07-08T04:54:42Z) - Enhancing End-to-End Autonomous Driving with Latent World Model [78.22157677787239]
コストのかかるラベルを必要とせずにエンドツーエンドの運転を改善するための,新しい自己管理手法を提案する。
フレームワーク textbfLAW は LAtent World モデルを用いて,予測エゴアクションと現在のフレームの潜在機能に基づいて,今後の潜在機能を予測する。
その結果,オープンループベンチマークとクローズループベンチマークの両方において,コストのかかるアノテーションを使わずに最先端のパフォーマンスを実現することができた。
論文 参考訳(メタデータ) (2024-06-12T17:59:21Z) - Implicit Occupancy Flow Fields for Perception and Prediction in
Self-Driving [68.95178518732965]
自動運転車(SDV)は、周囲を認識でき、他の交通参加者の将来の行動を予測できなければならない。
既存の作業は、検出されたオブジェクトの軌跡が続くオブジェクト検出を実行するか、シーン全体の密度の高い占有とフローグリッドを予測するかのいずれかである。
これは、認識と将来の予測に対する統一されたアプローチを動機付け、単一のニューラルネットワークで時間とともに占有とフローを暗黙的に表現します。
論文 参考訳(メタデータ) (2023-08-02T23:39:24Z) - Multi-Vehicle Trajectory Prediction at Intersections using State and
Intention Information [50.40632021583213]
道路員の将来の軌跡予測への伝統的なアプローチは、過去の軌跡を知ることに依存している。
この研究は、交差点で複数の車両の予測を行うために、現在の状態と意図された方向を知ることに依存する。
この情報を車両間で送るメッセージは、それぞれがより総合的な環境概要を提供する。
論文 参考訳(メタデータ) (2023-01-06T15:13:23Z) - Behavioral Intention Prediction in Driving Scenes: A Survey [70.53285924851767]
行動意図予測(BIP)は、人間の思考過程をシミュレートし、特定の行動の早期予測を満たす。
この作業は、利用可能なデータセット、重要な要因と課題、歩行者中心および車両中心のBIPアプローチ、BIP対応アプリケーションからのBIPの包括的なレビューを提供する。
論文 参考訳(メタデータ) (2022-11-01T11:07:37Z) - Self-Supervised Action-Space Prediction for Automated Driving [0.0]
本稿では,自動走行のための新しい学習型マルチモーダル軌道予測アーキテクチャを提案する。
学習問題を加速度と操舵角の空間に投入することにより、運動論的に実現可能な予測を実現する。
提案手法は,都市交差点とラウンドアバウトを含む実世界のデータセットを用いて評価する。
論文 参考訳(メタデータ) (2021-09-21T08:27:56Z) - Safety-aware Motion Prediction with Unseen Vehicles for Autonomous
Driving [104.32241082170044]
本研究では,無人運転用無人車を用いた新しい作業,安全を意識した動作予測手法について検討する。
既存の車両の軌道予測タスクとは異なり、占有率マップの予測が目的である。
私たちのアプローチは、ほとんどの場合、目に見えない車両の存在を予測できる最初の方法です。
論文 参考訳(メタデータ) (2021-09-03T13:33:33Z) - Injecting Knowledge in Data-driven Vehicle Trajectory Predictors [82.91398970736391]
車両軌道予測タスクは、一般的に知識駆動とデータ駆動の2つの視点から取り組まれている。
本稿では,これら2つの視点を効果的に結合する「現実的残留ブロック」 (RRB) の学習を提案する。
提案手法は,残留範囲を限定し,その不確実性を考慮した現実的な予測を行う。
論文 参考訳(メタデータ) (2021-03-08T16:03:09Z) - The PREVENTION Challenge: How Good Are Humans Predicting Lane Changes? [0.0]
本稿では,高速道路のシナリオにおける車線変化を予測する能力について分析する。
ユーザーは車線変更操作が行われていると考えた瞬間を示す必要がありました。
得られた結果は慎重に分析され、地上の真理ラベルと比較された。
論文 参考訳(メタデータ) (2020-09-11T10:47:07Z) - Learning predictive representations in autonomous driving to improve
deep reinforcement learning [9.919972770800822]
新たな予測表現を用いた強化学習を自律運転に適用する。
新たな予測表現は、一般値関数(GVF)によって学習され、将来の車線中心性と道路角度の予測を提供する。
シミュレーションと実世界の両方の実験では、強化学習における予測表現が学習効率、制御の滑らかさ、およびエージェントが訓練中に表示されなかった道路への一般化を改善することが示されている。
論文 参考訳(メタデータ) (2020-06-26T17:17:47Z) - Scenario-Transferable Semantic Graph Reasoning for Interaction-Aware
Probabilistic Prediction [29.623692599892365]
交通参加者の行動の正確な予測は、自動運転車にとって必須の能力である。
本稿では, セマンティクスとドメイン知識を活かして, 様々な運転環境に対する新しい汎用表現を提案する。
論文 参考訳(メタデータ) (2020-04-07T00:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。