論文の概要: OpenFly: A Versatile Toolchain and Large-scale Benchmark for Aerial Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2502.18041v1
• Date: Tue, 25 Feb 2025 09:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:24.940775
• Title: OpenFly: A Versatile Toolchain and Large-scale Benchmark for Aerial Vision-Language Navigation
• Title（参考訳）: OpenFly: 航空機ビジョンランゲージナビゲーションのためのVersatileツールチェーンと大規模ベンチマーク
• Authors: Yunpeng Gao, Chenhui Li, Zhongrui You, Junli Liu, Zhen Li, Pengan Chen, Qizhi Chen, Zhonghan Tang, Liansheng Wang, Penghui Yang, Yiwen Tang, Yuhang Tang, Shuai Liang, Songyi Zhu, Ziqin Xiong, Yifei Su, Xinyi Ye, Jianan Li, Yan Ding, Dong Wang, Zhigang Wang, Bin Zhao, Xuelong Li,
• Abstract要約: Vision-Language Navigation (VLN) は、言語命令と視覚的手がかりの両方を活用することで、エージェントを環境に誘導することを目的としている。 航空VLNのための多目的ツールチェーンと大規模ベンチマークからなるプラットフォームであるOpenFlyを提案する。 我々は、100kの軌跡を持つ大規模な航空VLNデータセットを構築し、18のシーンにまたがる様々な高さと長さをカバーした。 対応する視覚データは、Unreal, GTA V, Google Earth, 3D Splatting (3D GS)など、様々なレンダリングエンジンと高度な技術を用いて生成される。
• 参考スコア（独自算出の注目度）: 49.697035403548966
• License:
• Abstract: Vision-Language Navigation (VLN) aims to guide agents through an environment by leveraging both language instructions and visual cues, playing a pivotal role in embodied AI. Indoor VLN has been extensively studied, whereas outdoor aerial VLN remains underexplored. The potential reason is that outdoor aerial view encompasses vast areas, making data collection more challenging, which results in a lack of benchmarks. To address this problem, we propose OpenFly, a platform comprising a versatile toolchain and large-scale benchmark for aerial VLN. Firstly, we develop a highly automated toolchain for data collection, enabling automatic point cloud acquisition, scene semantic segmentation, flight trajectory creation, and instruction generation. Secondly, based on the toolchain, we construct a large-scale aerial VLN dataset with 100k trajectories, covering diverse heights and lengths across 18 scenes. The corresponding visual data are generated using various rendering engines and advanced techniques, including Unreal Engine, GTA V, Google Earth, and 3D Gaussian Splatting (3D GS). All data exhibit high visual quality. Particularly, 3D GS supports real-to-sim rendering, further enhancing the realism of the dataset. Thirdly, we propose OpenFly-Agent, a keyframe-aware VLN model, which takes language instructions, current observations, and historical keyframes as input, and outputs flight actions directly. Extensive analyses and experiments are conducted, showcasing the superiority of our OpenFly platform and OpenFly-Agent. The toolchain, dataset, and codes will be open-sourced.
• Abstract（参考訳）: Vision-Language Navigation (VLN)は、AIの具体化において重要な役割を果たす言語命令と視覚的手がかりの両方を活用することで、エージェントを環境に誘導することを目的としている。 室内のVLNは広く研究されているが、屋外のVLNは未調査のままである。 潜在的な理由は、屋外の航空ビューが広大な地域を包含しているため、データ収集がより困難になり、結果としてベンチマークの欠如が生じるためである。 この問題に対処するため,航空VLNのための多目的ツールチェーンと大規模ベンチマークからなるプラットフォームであるOpenFlyを提案する。 まず,データ収集のための高度自動化ツールチェーンを開発し,自動ポイントクラウド取得,シーンセマンティックセグメンテーション,フライトトラジェクトリ生成,命令生成を実現した。 第2に、ツールチェーンに基づいて、100kの軌跡を持つ大規模空中VLNデータセットを構築し、18のシーンにわたる様々な高さと長さをカバーした。 対応するビジュアルデータは、Unreal Engine、GTA V、Google Earth、および3D Gaussian Splatting (3D GS)など、様々なレンダリングエンジンと高度な技術を用いて生成される。 すべてのデータは高い視覚的品質を示す。 特に、3D GSはリアルタイムレンダリングをサポートし、データセットのリアリズムをさらに強化する。 第3にOpenFly-Agentを提案する。これはキーフレームを意識したVLNモデルで、言語命令、現在の観測、過去のキーフレームを入力として取り出し、直接フライトアクションを出力する。 大規模な分析と実験が行われ、OpenFlyプラットフォームとOpenFly-Agentの優位性を示している。 ツールチェーン、データセット、コードはオープンソースになる。

関連論文リスト

• NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation [15.628308089720269]
  Vision-and-Language Navigation (VLN)は、エンボディエージェントが自然言語コマンドを通じて複雑な視覚環境をナビゲートできるようにすることを目的としている。 本研究では,大規模な視覚言語モデルによって駆動される初の都市型UAV実施ナビゲーションモデルであるNavAgentを提案する。 我々は、きめ細かいランドマークを識別し、言語化できるランドマークの視覚認識器を構築した。 NavAgent-Landmark2Kは、ランドマークのための視覚認識装置を訓練するために、実際の街路シーンのための、最初のきめ細かいランドマークデータセットである。
  論文  参考訳（メタデータ） (2024-11-13T12:51:49Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• AerialVLN: Vision-and-Language Navigation for UAVs [23.40363176320464]
  AerialVLNという,UAVをベースとした,屋外環境に向けた新しいタスクを提案する。 都市レベル25のシナリオをほぼリアルに表現した3次元シミュレータを開発した。 AerialVLNが新しい課題であることを示唆するベースラインモデルと人的パフォーマンスの間にはまだ大きなギャップがある。
  論文  参考訳（メタデータ） (2023-08-13T09:55:04Z)
• WildRefer: 3D Object Localization in Large-scale Dynamic Scenes with Multi-modal Visual Data and Natural Language [31.691159120136064]
  本稿では,自然言語記述とオンラインキャプチャによるマルチモーダル視覚データに基づく大規模動的シーンにおける3次元視覚接地作業について紹介する。 本研究では,画像中のリッチな外観情報,位置,および点雲中の幾何学的手がかりをフル活用して,WildReferという新しい手法を提案する。 われわれのデータセットは、野生の3Dビジュアルグラウンドの研究にとって重要なものであり、自動運転とサービスロボットの開発を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-04-12T06:48:26Z)
• Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting [64.7364925689825]
  Argoverse 2(AV2)は、自動運転分野の研究の知覚と予測のための3つのデータセットの集合である。 Lidarデータセットには、ラベルなしのLidar点雲とマップ整列ポーズの2万のシーケンスが含まれている。 Motion Forecastingデータセットには、各ローカルシーンにおける自動運転車と他のアクター間の興味深い、挑戦的なインタラクションのために採掘された25万のシナリオが含まれている。
  論文  参考訳（メタデータ） (2023-01-02T00:36:22Z)
• Learning from Unlabeled 3D Environments for Vision-and-Language Navigation [87.03299519917019]
  視覚言語ナビゲーション(VLN)では、自然言語の指示に従って現実的な3D環境をナビゲートするために、具体的エージェントが必要である。 我々はHM3Dから900の未ラベルの3Dビルディングから大規模VLNデータセットを自動生成することを提案する。 実験により, HM3D-AutoVLNはVLNモデルの一般化能力を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-08-24T21:50:20Z)
• PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
  点雲は3次元座標における空間データの密集したコンパイルである。 我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。