論文の概要: Tapping in a Remote Vehicle's onboard LLM to Complement the Ego Vehicle's Field-of-View

• arxiv url: http://arxiv.org/abs/2408.10794v1
• Date: Tue, 20 Aug 2024 12:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:45:16.801838
• Title: Tapping in a Remote Vehicle's onboard LLM to Complement the Ego Vehicle's Field-of-View
• Title（参考訳）: エゴ車両の視野を補完する遠隔操作車載LCMのタッピング
• Authors: Malsha Ashani Mahawatta Dona, Beatriz Cabrero-Daniel, Yinan Yu, Christian Berger,
• Abstract要約: 本稿では,車載言語モデル(LLM)をタップすることで,エゴ車両の視野(FOV)と他の車両のFOVを補完する概念を提案する。 GPT-4V や GPT-4o など,ごく最近の LLM では,交通状況が極めて詳細に把握されているため,交通参加者の特定にも利用することができる。
• 参考スコア（独自算出の注目度）: 1.701722696403793
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Today's advanced automotive systems are turning into intelligent Cyber-Physical Systems (CPS), bringing computational intelligence to their cyber-physical context. Such systems power advanced driver assistance systems (ADAS) that observe a vehicle's surroundings for their functionality. However, such ADAS have clear limitations in scenarios when the direct line-of-sight to surrounding objects is occluded, like in urban areas. Imagine now automated driving (AD) systems that ideally could benefit from other vehicles' field-of-view in such occluded situations to increase traffic safety if, for example, locations about pedestrians can be shared across vehicles. Current literature suggests vehicle-to-infrastructure (V2I) via roadside units (RSUs) or vehicle-to-vehicle (V2V) communication to address such issues that stream sensor or object data between vehicles. When considering the ongoing revolution in vehicle system architectures towards powerful, centralized processing units with hardware accelerators, foreseeing the onboard presence of large language models (LLMs) to improve the passengers' comfort when using voice assistants becomes a reality. We are suggesting and evaluating a concept to complement the ego vehicle's field-of-view (FOV) with another vehicle's FOV by tapping into their onboard LLM to let the machines have a dialogue about what the other vehicle ``sees''. Our results show that very recent versions of LLMs, such as GPT-4V and GPT-4o, understand a traffic situation to an impressive level of detail, and hence, they can be used even to spot traffic participants. However, better prompts are needed to improve the detection quality and future work is needed towards a standardised message interchange format between vehicles.
• Abstract（参考訳）: 今日の先進的な自動車システムは、インテリジェントなサイバー物理システム(CPS)へと変わりつつある。 このようなシステムは、その機能のために車両の周囲を観察する高度な運転支援システム(ADAS)を駆動する。 しかし、こうしたADASは、都市部のように、周囲の物体への直視線が閉鎖されている場合のシナリオにおいて明確な制限がある。 例えば、歩行者に関する場所を車両間で共有できれば、交通の安全を高めるために、そのような状況下で他の車両の視野の恩恵を受けるのが理想的な自動運転システム(AD)を想像してみてください。 現在の文献では、車両間のセンサーやオブジェクトデータをストリームする問題に対処するために、道路側ユニット(RSU)または車両間通信(V2V)を介して車両間インフラ(V2I)が提案されている。 車両システムアーキテクチャにおけるハードウェアアクセラレーションによる強力な集中処理ユニットへの継続的な革命を考えると、音声アシスタントの使用時の乗客の快適性を高めるために、大型言語モデル(LLM)の存在を予見することが現実となる。 我々は,エゴ車両の視野(FOV)と他の車両のFOVを補完する概念を提案し,評価している。 GPT-4V や GPT-4o など,ごく最近の LLM では,交通状況が極めて詳細に把握されているため,交通参加者の特定にも利用することができる。 しかし、検出品質を改善するためにはより良いプロンプトが必要であり、車両間のメッセージ交換フォーマットの標準化に向けた今後の作業が必要である。

関連論文リスト

• A V2X-based Privacy Preserving Federated Measuring and Learning System [0.0]
  本稿では,V2V(Var-to-Vehicle)通信を介して,同志の車両にリアルタイムなデータを提供するフェデレート計測学習システムを提案する。 また,交通ネットワークの予測モデルを作成するために,車両ネットワーク(V2N)リンク上で連合学習スキームを運用している。 その結果,提案方式では学習性能が向上し,アグリゲータサーバ側での盗聴を防止することができた。
  論文  参考訳（メタデータ） (2024-01-24T23:11:11Z)
• Scalable Decentralized Cooperative Platoon using Multi-Agent Deep Reinforcement Learning [2.5499055723658097]
  本稿では,交通流と安全を向上する車両小隊方式を提案する。 Unity 3Dゲームエンジンで深層強化学習を用いて開発されている。 提案した小隊モデルは、スケーラビリティ、分散化、ポジティブな協力の促進に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-11T22:04:38Z)
• MSight: An Edge-Cloud Infrastructure-based Perception System for Connected Automated Vehicles [58.461077944514564]
  本稿では,自動走行車に特化して設計された最先端道路側認識システムであるMSightについて述べる。 MSightは、リアルタイムの車両検出、ローカライゼーション、トラッキング、短期的な軌道予測を提供する。 評価は、待ち時間を最小限にしてレーンレベルの精度を維持するシステムの能力を強調している。
  論文  参考訳（メタデータ） (2023-10-08T21:32:30Z)
• Learning Driver Models for Automated Vehicles via Knowledge Sharing and Personalization [2.07180164747172]
  本稿では,自動車間の知識共有とパーソナライゼーションを通じて,自動走行車(AV)ドライバモデルを学習するためのフレームワークについて述べる。 インテリジェントな輸送システム、交通管理、車両間通信など、輸送工学にまたがるいくつかの応用を見出している。
  論文  参考訳（メタデータ） (2023-08-31T17:18:15Z)
• Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics [77.34726150561087]
  本研究の目的は、ADASおよび自動運転車のカメラおよびレーダーによる認識の現在のシナリオに関する研究を行うことである。 両センサと融合に関する概念と特徴を提示する。 本稿では、ディープラーニングに基づく検出とセグメンテーションタスクの概要と、車両の認識における主要なデータセット、メトリクス、課題、オープンな質問について説明する。
  論文  参考訳（メタデータ） (2023-03-08T00:48:32Z)
• Shared Information-Based Safe And Efficient Behavior Planning For Connected Autonomous Vehicles [6.896682830421197]
  我々は、連結自動運転車のための統合情報共有と安全なマルチエージェント強化学習フレームワークを設計する。 まず、重畳畳み込み畳み込みニューラルネットワーク(CNN)を用いて、生画像とポイントクラウドのLIDARデータを各自動運転車でローカルに処理する。 次に、車両の局部観測とV2V通信を介して受信した情報の両方を利用する安全なアクター批判アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-02-08T20:31:41Z)
• Reinforcement Learning based Cyberattack Model for Adaptive Traffic Signal Controller in Connected Transportation Systems [61.39400591328625]
  接続輸送システムにおいて、適応交通信号制御装置(ATSC)は、車両から受信したリアルタイム車両軌跡データを利用して、グリーンタイムを規制する。 この無線接続されたATSCはサイバー攻撃面を増やし、その脆弱性を様々なサイバー攻撃モードに拡大する。 そのようなモードの1つは、攻撃者がネットワーク内で偽の車両を作成する「シビル」攻撃である。 RLエージェントは、シビル車噴射の最適速度を学習し、アプローチの混雑を生じさせるように訓練される
  論文  参考訳（メタデータ） (2022-10-31T20:12:17Z)
• COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles [54.61668577827041]
  本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。 われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-05-04T17:55:12Z)
• VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles [131.2240621036954]
  VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。 高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。 センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2021-11-23T18:58:10Z)
• V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction [74.42961817119283]
  車両間通信(V2V)を用いて、自動運転車の知覚と運動予測性能を向上させる。 複数の車両から受信した情報をインテリジェントに集約することで、異なる視点から同じシーンを観察することができる。
  論文  参考訳（メタデータ） (2020-08-17T17:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。