論文の概要: EmbodiedCity: A Benchmark Platform for Embodied Agent in Real-world City Environment

• arxiv url: http://arxiv.org/abs/2410.09604v1
• Date: Sat, 12 Oct 2024 17:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 13:35:29.743669
• Title: EmbodiedCity: A Benchmark Platform for Embodied Agent in Real-world City Environment
• Title（参考訳）: EmbodiedCity:現実世界の都市環境におけるEmbodied Agentのベンチマークプラットフォーム
• Authors: Chen Gao, Baining Zhao, Weichen Zhang, Jinzhu Mao, Jun Zhang, Zhiheng Zheng, Fanhang Man, Jianjie Fang, Zile Zhou, Jinqiang Cui, Xinlei Chen, Yong Li,
• Abstract要約: 身体的人工知能は、エージェントの身体が人間のような行動を引き起こす役割を強調している。 本稿では,実環境におけるインテリジェンス評価のためのベンチマークプラットフォームを構築する。
• 参考スコア（独自算出の注目度）: 38.14321677323052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied artificial intelligence emphasizes the role of an agent's body in generating human-like behaviors. The recent efforts on EmbodiedAI pay a lot of attention to building up machine learning models to possess perceiving, planning, and acting abilities, thereby enabling real-time interaction with the world. However, most works focus on bounded indoor environments, such as navigation in a room or manipulating a device, with limited exploration of embodying the agents in open-world scenarios. That is, embodied intelligence in the open and outdoor environment is less explored, for which one potential reason is the lack of high-quality simulators, benchmarks, and datasets. To address it, in this paper, we construct a benchmark platform for embodied intelligence evaluation in real-world city environments. Specifically, we first construct a highly realistic 3D simulation environment based on the real buildings, roads, and other elements in a real city. In this environment, we combine historically collected data and simulation algorithms to conduct simulations of pedestrian and vehicle flows with high fidelity. Further, we designed a set of evaluation tasks covering different EmbodiedAI abilities. Moreover, we provide a complete set of input and output interfaces for access, enabling embodied agents to easily take task requirements and current environmental observations as input and then make decisions and obtain performance evaluations. On the one hand, it expands the capability of existing embodied intelligence to higher levels. On the other hand, it has a higher practical value in the real world and can support more potential applications for artificial general intelligence. Based on this platform, we evaluate some popular large language models for embodied intelligence capabilities of different dimensions and difficulties.
• Abstract（参考訳）: 身体的人工知能は、エージェントの身体が人間のような行動を引き起こす役割を強調している。 EmbodiedAIに対する最近の取り組みは、知覚、計画、行動能力を持つマシンラーニングモデルの構築に多くの注意を払っている。 しかし、ほとんどの研究は、室内のナビゲーションやデバイスを操作するなど、屋内環境の境界に重点を置いており、オープンワールドのシナリオにおいてエージェントを具現化するための限定的な調査を行っている。 つまり、オープンで屋外の環境におけるインテリジェンスを具現化する研究はあまり行われておらず、その潜在的な理由は、高品質なシミュレータ、ベンチマーク、データセットの欠如である。 そこで本研究では,実環境におけるインテリジェンス評価のためのベンチマークプラットフォームを構築した。 具体的には,実際の都市における実際の建物,道路,その他の要素に基づいて,現実的な3Dシミュレーション環境を構築する。 この環境では、歴史的に収集されたデータとシミュレーションアルゴリズムを組み合わせて、高い忠実度で歩行者と車両の流れのシミュレーションを行う。 さらに,異なるEmbodiedAI能力をカバーする一連の評価タスクを設計した。 さらに、アクセスのための入力および出力インターフェースの完全なセットを提供し、実施エージェントは、タスク要求や現在の環境観測を簡単に入力として受け取り、意思決定を行い、性能評価を得ることができる。 一方、既存のインボディード・インテリジェンスをより高いレベルまで拡張する。 一方、現実世界では実用的価値が高く、人工知能への潜在的な応用を支援することができる。 このプラットフォームをベースとして,異なる次元と難易度の知能を具現化するための,いくつかの一般的な大規模言語モデルを評価する。

関連論文リスト

• WorldSimBench: Towards Video Generation Models as World Simulators [79.69709361730865]
  我々は、予測モデルの機能を階層に分類し、WorldSimBenchと呼ばれる2つの評価フレームワークを提案することにより、World Simulatorの評価の第一歩を踏み出す。 WorldSimBenchにはExplicit Perceptual EvaluationとImplicit Manipulative Evaluationが含まれている。 我々の総合的な評価は、ビデオ生成モデルのさらなる革新を促進する重要な洞察を与え、World Simulatorsをエンボディされた人工知能への重要な進歩と位置づけている。
  論文  参考訳（メタデータ） (2024-10-23T17:56:11Z)
• V-IRL: Grounding Virtual Intelligence in Real Life [65.87750250364411]
  V-IRLは、エージェントが仮想的で現実的な環境で現実世界と対話することを可能にするプラットフォームである。 私たちのプラットフォームは、様々な実践的なタスクを達成できるエージェントを開発するための遊び場として役立ちます。
  論文  参考訳（メタデータ） (2024-02-05T18:59:36Z)
• Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
  エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。 我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
  論文  参考訳（メタデータ） (2024-01-07T19:11:18Z)
• ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
  基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。 私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。 我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-01T17:57:01Z)
• BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments [70.18430114842094]
  本稿では,シミュレーションにおける100のアクティビティを持つAIのベンチマークであるBEHAVIORを紹介する。 これらの活動は現実的で多様性があり、複雑であるように設計されています。 われわれは、バーチャルリアリティー(VR)における500件の人間デモを含む。
  論文  参考訳（メタデータ） (2021-08-06T23:36:23Z)
• Low Dimensional State Representation Learning with Robotics Priors in Continuous Action Spaces [8.692025477306212]
  強化学習アルゴリズムは、エンドツーエンドで複雑なロボティクスタスクを解くことができることが証明されている。 本稿では,ロボットの生の知覚情報から得られる高次元の観察から,低次元状態表現の学習と最適ポリシーの学習を組み合わせた枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-04T15:42:01Z)
• Out of the Box: Embodied Navigation in the Real World [45.97756658635314]
  シミュレーションで得られた知識を現実世界に伝達する方法を示す。 モデルは1台のIntel RealSenseカメラを搭載したLoCoBotにデプロイします。 本実験では,得られたモデルを実世界に展開することで,満足のいく結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-12T18:00:14Z)
• Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration Under Uncertainty [6.42522897323111]
  シミュレーション環境で高性能探査政策を自己学習するための枠組みを提案する。 本稿では,グラフニューラルネットワークと深層強化学習を併用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-11T02:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。