論文の概要: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- arxiv url: http://arxiv.org/abs/2210.12511v1
- Date: Sat, 22 Oct 2022 17:52:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-25 12:52:39.644043
- Title: DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in
Interactive Autonomous Driving Agents
- Title（参考訳）: DOROTHIE:対話型自律運転エージェントにおける予期せぬ状況対応のための音声対話
- Authors: Ziqiao Ma, Ben VanDerPloeg, Cristian-Paul Bara, Huang Yidong, Eui-In
Kim, Felix Gervits, Matthew Marge, Joyce Chai
- Abstract要約: 本稿では,対話型シミュレーションプラットフォームであるROAD To Handle Irregular Events (DOROTHIE)を紹介する。
このプラットフォームに基づいて183トライアルのナビゲーションベンチマークであるSituated Dialogue Navigation(SDN)を作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
- 参考スコア（独自算出の注目度）: 6.639872461610685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the real world, autonomous driving agents navigate in highly dynamic
environments full of unexpected situations where pre-trained models are
unreliable. In these situations, what is immediately available to vehicles is
often only human operators. Empowering autonomous driving agents with the
ability to navigate in a continuous and dynamic environment and to communicate
with humans through sensorimotor-grounded dialogue becomes critical. To this
end, we introduce Dialogue On the ROad To Handle Irregular Events (DOROTHIE), a
novel interactive simulation platform that enables the creation of unexpected
situations on the fly to support empirical studies on situated communication
with autonomous driving agents. Based on this platform, we created the Situated
Dialogue Navigation (SDN), a navigation benchmark of 183 trials with a total of
8415 utterances, around 18.7 hours of control streams, and 2.9 hours of trimmed
audio. SDN is developed to evaluate the agent's ability to predict dialogue
moves from humans as well as generate its own dialogue moves and physical
navigation actions. We further developed a transformer-based baseline model for
these SDN tasks. Our empirical results indicate that language guided-navigation
in a highly dynamic environment is an extremely difficult task for end-to-end
models. These results will provide insight towards future work on robust
autonomous driving agents. The DOROTHIE platform, SDN benchmark, and code for
the baseline model are available at https://github.com/sled-group/DOROTHIE.
- Abstract（参考訳）: 現実の世界では、自律運転エージェントは、事前訓練されたモデルが信頼できない予期せぬ状況に満ちた非常にダイナミックな環境で移動します。
これらの状況において、車両にすぐに利用できるものは、しばしば人間のオペレーターのみである。
自律運転エージェントに、連続的でダイナミックな環境をナビゲートし、センタモベーターによる対話を通じて人間とコミュニケーションする能力を与えることが重要になる。
この目的のために我々は,自律運転エージェントとの位置情報通信に関する実証的研究を支援するために,予期せぬ状況の創出を可能にする,対話型シミュレーションプラットフォームDOROTHIEを紹介した。
このプラットフォームをベースとしたSituated Dialogue Navigation(SDN)という,計8415の発話,約18.7時間の制御ストリーム,2.9時間のトリミングオーディオを備えた183回の試験のナビゲーションベンチマークを作成しました。
SDNは、エージェントが人間からの対話の動きを予測し、独自の対話の動きと物理的なナビゲーションアクションを生成する能力を評価するために開発された。
さらに,これらのSDNタスクのためのトランスフォーマーベースベースラインモデルを開発した。
実験結果から,高度にダイナミックな環境における言語誘導ナビゲーションは,エンドツーエンドモデルにとって極めて難しい課題であることが示された。
これらの結果は、堅牢な自動運転エージェントに関する今後の作業に対する洞察を提供する。
DOROTHIEプラットフォーム、SDNベンチマーク、ベースラインモデルのコードはhttps://github.com/sled-group/DOROTHIEで入手できる。
関連論文リスト
- EmoBipedNav: Emotion-aware Social Navigation for Bipedal Robots with Deep Reinforcement Learning [11.622119393400341]
本研究では、社会的に対話的な環境を歩行する二足歩行ロボットのための感情認識ナビゲーションフレームワーク、BipedNavを提案する。
提案フレームワークは、トレーニング中の全順序ダイナミクスとロコモーション制約を組み込んだもので、ロコモーションコントローラのエラーや制限のトラッキングを効果的に行う。
論文 参考訳（メタデータ） (2025-03-16T15:11:57Z) - doScenes: An Autonomous Driving Dataset with Natural Language Instruction for Human Interaction and Vision-Language Navigation [0.0]
doScenesは、人間と車両の命令インタラクションの研究を促進するために設計された、新しいデータセットである。
DoScenesは命令と駆動応答のギャップを埋め、コンテキスト認識と適応計画を可能にする。
論文 参考訳（メタデータ） (2024-12-08T11:16:47Z) - Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。
未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。
まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。
インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
論文 参考訳（メタデータ） (2024-12-02T08:16:38Z) - WHALES: A Multi-agent Scheduling Dataset for Enhanced Cooperation in Autonomous Driving [54.365702251769456]
我々は、駆動シーケンス当たり平均8.4エージェントのデータセットを提示する。
自律運転データセットの中で最大のエージェントと視点を提供するだけでなく、WHALESはエージェントの振る舞いを記録する。
エージェントスケジューリングタスクにおいて,エゴエージェントが複数の候補エージェントの1つを選択して協調する実験を行う。
論文 参考訳（メタデータ） (2024-11-20T14:12:34Z) - DriVLMe: Enhancing LLM-based Autonomous Driving Agents with Embodied and Social Experiences [12.51538076211772]
DriVLMeは、人間と自動運転車のコミュニケーションを容易にするためのビデオ言語モデルに基づくエージェントである。
オープンループベンチマークとクローズドループヒューマンスタディの両方において競合性能を示す。
論文 参考訳（メタデータ） (2024-06-05T07:14:44Z) - Unifying Large Language Model and Deep Reinforcement Learning for Human-in-Loop Interactive Socially-aware Navigation [16.789333617628138]
ソーシャルロボットナビゲーションプランナーは、2つの大きな課題に直面している。
本稿では,対話型対話型ソーシャル・アウェア・ナビゲーションフレームワークであるSALMを紹介する。
メモリ機構は、時間データを連続的な改善のためにアーカイブし、多段階のグラフは推論に基づく大規模言語フィードバックモデルが両方の計画手法の強みを適応的に融合させる。
論文 参考訳（メタデータ） (2024-03-22T23:12:28Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳（メタデータ） (2023-12-14T18:59:05Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked
Vehicles [54.61668577827041]
本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。
われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
論文 参考訳（メタデータ） (2022-05-04T17:55:12Z) - Fully End-to-end Autonomous Driving with Semantic Depth Cloud Mapping
and Multi-Agent [2.512827436728378]
本稿では,エンド・ツー・エンドとマルチタスクの学習方法を用いて学習した新しいディープラーニングモデルを提案する。
このモデルは,CARLAシミュレータ上で,現実の環境を模倣するために,通常の状況と異なる天候のシナリオを用いて評価する。
論文 参考訳（メタデータ） (2022-04-12T03:57:01Z) - Multi-Agent Reinforcement Learning for Markov Routing Games: A New
Modeling Paradigm For Dynamic Traffic Assignment [11.093194714316434]
我々は,各エージェントが自身の経路選択ポリシーを学習し,更新するマルコフルーティングゲーム(MRG)を開発した。
知的エージェントのルーティング動作は、予測動的ユーザ均衡という古典的な概念に収束することが示されている。
論文 参考訳（メタデータ） (2020-11-22T02:31:14Z) - SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for
Autonomous Driving [96.50297622371457]
マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。
研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。
SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
論文 参考訳（メタデータ） (2020-10-19T18:26:10Z) - Intelligent Roundabout Insertion using Deep Reinforcement Learning [68.8204255655161]
本稿では,多忙なラウンドアバウンドの入場を交渉できる演習計画モジュールを提案する。
提案されたモジュールは、トレーニングされたニューラルネットワークに基づいて、操作の全期間にわたって、ラウンドアバウンドに入るタイミングと方法を予測する。
論文 参考訳（メタデータ） (2020-01-03T11:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。