論文の概要: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- arxiv url: http://arxiv.org/abs/2210.12511v1
- Date: Sat, 22 Oct 2022 17:52:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:52:39.644043
- Title: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- Title(参考訳): DOROTHIE:対話型自律運転エージェントにおける予期せぬ状況対応のための音声対話
- Authors: Ziqiao Ma, Ben VanDerPloeg, Cristian-Paul Bara, Huang Yidong, Eui-In
Kim, Felix Gervits, Matthew Marge, Joyce Chai
- Abstract要約: 本稿では,対話型シミュレーションプラットフォームであるROAD To Handle Irregular Events (DOROTHIE)を紹介する。
このプラットフォームに基づいて183トライアルのナビゲーションベンチマークであるSituated Dialogue Navigation(SDN)を作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
- 参考スコア(独自算出の注目度): 6.639872461610685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the real world, autonomous driving agents navigate in highly dynamic
environments full of unexpected situations where pre-trained models are
unreliable. In these situations, what is immediately available to vehicles is
often only human operators. Empowering autonomous driving agents with the
ability to navigate in a continuous and dynamic environment and to communicate
with humans through sensorimotor-grounded dialogue becomes critical. To this
end, we introduce Dialogue On the ROad To Handle Irregular Events (DOROTHIE), a
novel interactive simulation platform that enables the creation of unexpected
situations on the fly to support empirical studies on situated communication
with autonomous driving agents. Based on this platform, we created the Situated
Dialogue Navigation (SDN), a navigation benchmark of 183 trials with a total of
8415 utterances, around 18.7 hours of control streams, and 2.9 hours of trimmed
audio. SDN is developed to evaluate the agent's ability to predict dialogue
moves from humans as well as generate its own dialogue moves and physical
navigation actions. We further developed a transformer-based baseline model for
these SDN tasks. Our empirical results indicate that language guided-navigation
in a highly dynamic environment is an extremely difficult task for end-to-end
models. These results will provide insight towards future work on robust
autonomous driving agents. The DOROTHIE platform, SDN benchmark, and code for
the baseline model are available at https://github.com/sled-group/DOROTHIE.
- Abstract(参考訳): 現実の世界では、自律運転エージェントは、事前訓練されたモデルが信頼できない予期せぬ状況に満ちた非常にダイナミックな環境で移動します。
これらの状況において、車両にすぐに利用できるものは、しばしば人間のオペレーターのみである。
自律運転エージェントに、連続的でダイナミックな環境をナビゲートし、センタモベーターによる対話を通じて人間とコミュニケーションする能力を与えることが重要になる。
この目的のために我々は,自律運転エージェントとの位置情報通信に関する実証的研究を支援するために,予期せぬ状況の創出を可能にする,対話型シミュレーションプラットフォームDOROTHIEを紹介した。
このプラットフォームをベースとしたSituated Dialogue Navigation(SDN)という,計8415の発話,約18.7時間の制御ストリーム,2.9時間のトリミングオーディオを備えた183回の試験のナビゲーションベンチマークを作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
さらに,これらのSDNタスクのためのトランスフォーマーベースベースラインモデルを開発した。
実験結果から,高度にダイナミックな環境における言語誘導ナビゲーションは,エンドツーエンドモデルにとって極めて難しい課題であることが示された。
これらの結果は、堅牢な自動運転エージェントに関する今後の作業に対する洞察を提供する。
DOROTHIEプラットフォーム、SDNベンチマーク、ベースラインモデルのコードはhttps://github.com/sled-group/DOROTHIEで入手できる。
関連論文リスト
- Large Language Models for Autonomous Driving: Real-World Experiments [11.858853494266873]
我々は,人間からの音声コマンドを処理する枠組みを導入し,文脈情報を用いて自律運転決定を行う。
このフレームワークは、様々なドライバーの乗っ取り率を最大90.1%削減することができる。
われわれの知る限りでは、Talk2DriveはLLMベースのシステムを現実の自動運転環境に導入した最初の例だ。
論文 参考訳(メタデータ) (2023-12-14T23:23:37Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-11-27T18:57:42Z) - ProcTHOR: Large-Scale Embodied AI Using Procedural Generation [55.485985317538194]
ProcTHORは、Embodied AI環境の手続き的生成のためのフレームワークである。
ナビゲーション、アレンジメント、アーム操作のための6つの具体化されたAIベンチマークに対して、最先端の結果を実証する。
論文 参考訳(メタデータ) (2022-06-14T17:09:35Z) - COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked
Vehicles [54.61668577827041]
本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。
われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
論文 参考訳(メタデータ) (2022-05-04T17:55:12Z) - Fully End-to-end Autonomous Driving with Semantic Depth Cloud Mapping
and Multi-Agent [2.512827436728378]
本稿では,エンド・ツー・エンドとマルチタスクの学習方法を用いて学習した新しいディープラーニングモデルを提案する。
このモデルは,CARLAシミュレータ上で,現実の環境を模倣するために,通常の状況と異なる天候のシナリオを用いて評価する。
論文 参考訳(メタデータ) (2022-04-12T03:57:01Z) - Multi-Agent Reinforcement Learning for Markov Routing Games: A New
Modeling Paradigm For Dynamic Traffic Assignment [11.093194714316434]
我々は,各エージェントが自身の経路選択ポリシーを学習し,更新するマルコフルーティングゲーム(MRG)を開発した。
知的エージェントのルーティング動作は、予測動的ユーザ均衡という古典的な概念に収束することが示されている。
論文 参考訳(メタデータ) (2020-11-22T02:31:14Z) - SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for
Autonomous Driving [96.50297622371457]
マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。
研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。
SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
論文 参考訳(メタデータ) (2020-10-19T18:26:10Z) - Intelligent Roundabout Insertion using Deep Reinforcement Learning [68.8204255655161]
本稿では,多忙なラウンドアバウンドの入場を交渉できる演習計画モジュールを提案する。
提案されたモジュールは、トレーニングされたニューラルネットワークに基づいて、操作の全期間にわたって、ラウンドアバウンドに入るタイミングと方法を予測する。
論文 参考訳(メタデータ) (2020-01-03T11:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。