論文の概要: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- arxiv url: http://arxiv.org/abs/2210.12511v1
- Date: Sat, 22 Oct 2022 17:52:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:52:39.644043
- Title: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- Title（参考訳）: DOROTHIE:対話型自律運転エージェントにおける予期せぬ状況対応のための音声対話
- Authors: Ziqiao Ma, Ben VanDerPloeg, Cristian-Paul Bara, Huang Yidong, Eui-In
Kim, Felix Gervits, Matthew Marge, Joyce Chai
- Abstract要約: 本稿では,対話型シミュレーションプラットフォームであるROAD To Handle Irregular Events (DOROTHIE)を紹介する。
このプラットフォームに基づいて183トライアルのナビゲーションベンチマークであるSituated Dialogue Navigation(SDN)を作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
- 参考スコア（独自算出の注目度）: 6.639872461610685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the real world, autonomous driving agents navigate in highly dynamic
environments full of unexpected situations where pre-trained models are
unreliable. In these situations, what is immediately available to vehicles is
often only human operators. Empowering autonomous driving agents with the
ability to navigate in a continuous and dynamic environment and to communicate
with humans through sensorimotor-grounded dialogue becomes critical. To this
end, we introduce Dialogue On the ROad To Handle Irregular Events (DOROTHIE), a
novel interactive simulation platform that enables the creation of unexpected
situations on the fly to support empirical studies on situated communication
with autonomous driving agents. Based on this platform, we created the Situated
Dialogue Navigation (SDN), a navigation benchmark of 183 trials with a total of
8415 utterances, around 18.7 hours of control streams, and 2.9 hours of trimmed
audio. SDN is developed to evaluate the agent's ability to predict dialogue
moves from humans as well as generate its own dialogue moves and physical
navigation actions. We further developed a transformer-based baseline model for
these SDN tasks. Our empirical results indicate that language guided-navigation
in a highly dynamic environment is an extremely difficult task for end-to-end
models. These results will provide insight towards future work on robust
autonomous driving agents. The DOROTHIE platform, SDN benchmark, and code for
the baseline model are available at https://github.com/sled-group/DOROTHIE.
- Abstract（参考訳）: 現実の世界では、自律運転エージェントは、事前訓練されたモデルが信頼できない予期せぬ状況に満ちた非常にダイナミックな環境で移動します。
これらの状況において、車両にすぐに利用できるものは、しばしば人間のオペレーターのみである。
自律運転エージェントに、連続的でダイナミックな環境をナビゲートし、センタモベーターによる対話を通じて人間とコミュニケーションする能力を与えることが重要になる。
この目的のために我々は,自律運転エージェントとの位置情報通信に関する実証的研究を支援するために,予期せぬ状況の創出を可能にする,対話型シミュレーションプラットフォームDOROTHIEを紹介した。
このプラットフォームをベースとしたSituated Dialogue Navigation(SDN)という,計8415の発話,約18.7時間の制御ストリーム,2.9時間のトリミングオーディオを備えた183回の試験のナビゲーションベンチマークを作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
さらに,これらのSDNタスクのためのトランスフォーマーベースベースラインモデルを開発した。
実験結果から,高度にダイナミックな環境における言語誘導ナビゲーションは,エンドツーエンドモデルにとって極めて難しい課題であることが示された。
これらの結果は、堅牢な自動運転エージェントに関する今後の作業に対する洞察を提供する。
DOROTHIEプラットフォーム、SDNベンチマーク、ベースラインモデルのコードはhttps://github.com/sled-group/DOROTHIEで入手できる。
関連論文リスト
- Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge [9.461346539158475]
本稿では,Parrot Bebop Quaotor2上に実装されたリアルタイムニューロモルフィックナビゲーションフレームワークNeuro-LIFTを提案する。
我々のフレームワークは、人間の発話を高レベルな計画コマンドに変換し、イベントベースのニューロモルフィックビジョンと物理駆動計画を用いて自律的に実行される。
本フレームワークは,動的な環境下での航行,障害物回避,人間の指示にリアルタイムで適応する能力を示す。
論文 参考訳（メタデータ） (2025-01-31T16:17:03Z) - doScenes: An Autonomous Driving Dataset with Natural Language Instruction for Human Interaction and Vision-Language Navigation [0.0]
doScenesは、人間と車両の命令インタラクションの研究を促進するために設計された、新しいデータセットである。
DoScenesは命令と駆動応答のギャップを埋め、コンテキスト認識と適応計画を可能にする。
論文 参考訳（メタデータ） (2024-12-08T11:16:47Z) - Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input [54.81155589931697]
我々は,ナビゲーション中の動的エージェントと人間との相互作用を考慮したCoIN(Collaborative Instance Navigation)を提案する。
CoINに対処するために,新しいエージェント・ユーザ・インタラクションとUncerTainty Awareness (AIUTA)を提案する。
AIUTAは、最先端のメソッドに対するナビゲーションにおける競合的なパフォーマンスを実現し、ユーザの入力を処理する際の柔軟性を示している。
論文 参考訳（メタデータ） (2024-12-02T08:16:38Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳（メタデータ） (2023-12-14T18:59:05Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked
Vehicles [54.61668577827041]
本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。
われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
論文 参考訳（メタデータ） (2022-05-04T17:55:12Z) - Multi-Agent Reinforcement Learning for Markov Routing Games: A New
Modeling Paradigm For Dynamic Traffic Assignment [11.093194714316434]
我々は,各エージェントが自身の経路選択ポリシーを学習し,更新するマルコフルーティングゲーム(MRG)を開発した。
知的エージェントのルーティング動作は、予測動的ユーザ均衡という古典的な概念に収束することが示されている。
論文 参考訳（メタデータ） (2020-11-22T02:31:14Z) - SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for
Autonomous Driving [96.50297622371457]
マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。
研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。
SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
論文 参考訳（メタデータ） (2020-10-19T18:26:10Z) - Intelligent Roundabout Insertion using Deep Reinforcement Learning [68.8204255655161]
本稿では,多忙なラウンドアバウンドの入場を交渉できる演習計画モジュールを提案する。
提案されたモジュールは、トレーニングされたニューラルネットワークに基づいて、操作の全期間にわたって、ラウンドアバウンドに入るタイミングと方法を予測する。
論文 参考訳（メタデータ） (2020-01-03T11:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。