論文の概要: OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2502.18041v5
• Date: Wed, 21 May 2025 12:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.717984
• Title: OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation
• Title（参考訳）: OpenFly: 航空ビジョンランゲージナビゲーションのための総合的なプラットフォーム
• Authors: Yunpeng Gao, Chenhui Li, Zhongrui You, Junli Liu, Zhen Li, Pengan Chen, Qizhi Chen, Zhonghan Tang, Liansheng Wang, Penghui Yang, Yiwen Tang, Yuhang Tang, Shuai Liang, Songyi Zhu, Ziqin Xiong, Yifei Su, Xinyi Ye, Jianan Li, Yan Ding, Dong Wang, Zhigang Wang, Bin Zhao, Xuelong Li,
• Abstract要約: Vision-Language Navigation (VLN)は、言語命令と視覚的手がかりを活用してエージェントを誘導することを目的としており、AIの具体化において重要な役割を果たす。 各種レンダリングエンジン,多用途ツールチェーン,航空VLNの大規模ベンチマークからなるプラットフォームであるOpenFlyを提案する。 我々は、100kの軌跡を持つ大規模な航空VLNデータセットを構築し、18のシーンにまたがる様々な高さと長さをカバーした。
• 参考スコア（独自算出の注目度）: 49.697035403548966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Navigation (VLN) aims to guide agents by leveraging language instructions and visual cues, playing a pivotal role in embodied AI. Indoor VLN has been extensively studied, whereas outdoor aerial VLN remains underexplored. The potential reason is that outdoor aerial view encompasses vast areas, making data collection more challenging, which results in a lack of benchmarks. To address this problem, we propose OpenFly, a platform comprising various rendering engines, a versatile toolchain, and a large-scale benchmark for aerial VLN. Firstly, we integrate diverse rendering engines and advanced techniques for environment simulation, including Unreal Engine, GTA V, Google Earth, and 3D Gaussian Splatting (3D GS). Particularly, 3D GS supports real-to-sim rendering, further enhancing the realism of our environments. Secondly, we develop a highly automated toolchain for aerial VLN data collection, streamlining point cloud acquisition, scene semantic segmentation, flight trajectory creation, and instruction generation. Thirdly, based on the toolchain, we construct a large-scale aerial VLN dataset with 100k trajectories, covering diverse heights and lengths across 18 scenes. Moreover, we propose OpenFly-Agent, a keyframe-aware VLN model emphasizing key observations during flight. For benchmarking, extensive experiments and analyses are conducted, evaluating several recent VLN methods and showcasing the superiority of our OpenFly platform and agent. The toolchain, dataset, and codes will be open-sourced.
• Abstract（参考訳）: Vision-Language Navigation (VLN)は、言語命令と視覚的手がかりを活用してエージェントを誘導することを目的としており、AIの具体化において重要な役割を果たす。 室内のVLNは広く研究されているが、屋外のVLNは未調査のままである。 潜在的な理由は、屋外の航空ビューが広大な地域を包含しているため、データ収集がより困難になり、結果としてベンチマークの欠如が生じるためである。 この問題に対処するために,さまざまなレンダリングエンジン,汎用ツールチェーン,航空VLNの大規模ベンチマークからなるプラットフォームであるOpenFlyを提案する。 まず,Unreal Engine, GTA V, Google Earth, 3D Gaussian Splatting (3D GS)など,多様なレンダリングエンジンと高度な環境シミュレーション技術を統合する。 特に、3D GSはリアルタイムレンダリングをサポートし、環境のリアリズムをさらに強化します。 第2に,航空VLNデータ収集,ポイントクラウド取得の合理化,シーンセマンティックセグメンテーション,フライトトラジェクトリ生成,命令生成のための高度自動化ツールチェーンを開発する。 第3に、ツールチェーンに基づいて、100kの軌跡を持つ大規模空中VLNデータセットを構築し、18のシーンにまたがる様々な高さと長さをカバーする。 さらに,飛行中のキー観測を強調するキーフレーム対応VLNモデルOpenFly-Agentを提案する。 ベンチマークでは、大規模な実験と分析を行い、最近のVLN手法を評価し、OpenFlyプラットフォームとエージェントの優位性を示す。 ツールチェーン、データセット、コードはオープンソースになる。

関連論文リスト

• MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs [13.678235444299286]
  MLLM(Multimodal large language model)は、2次元の視覚的理解に優れるが、3次元空間を推論する能力には限界がある。 本研究では,1)新しい教師付き微調整データセットの導入,2)屋内シーンに焦点を当てた新しい評価ベンチマークを導入するために,オープンセットアノテーションを用いた大規模高品質3Dシーンデータを活用する。
  論文  参考訳（メタデータ） (2025-03-17T12:34:22Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• AerialVLN: Vision-and-Language Navigation for UAVs [23.40363176320464]
  AerialVLNという,UAVをベースとした,屋外環境に向けた新しいタスクを提案する。 都市レベル25のシナリオをほぼリアルに表現した3次元シミュレータを開発した。 AerialVLNが新しい課題であることを示唆するベースラインモデルと人的パフォーマンスの間にはまだ大きなギャップがある。
  論文  参考訳（メタデータ） (2023-08-13T09:55:04Z)
• WildRefer: 3D Object Localization in Large-scale Dynamic Scenes with Multi-modal Visual Data and Natural Language [31.691159120136064]
  本稿では,自然言語記述とオンラインキャプチャによるマルチモーダル視覚データに基づく大規模動的シーンにおける3次元視覚接地作業について紹介する。 本研究では,画像中のリッチな外観情報,位置,および点雲中の幾何学的手がかりをフル活用して,WildReferという新しい手法を提案する。 われわれのデータセットは、野生の3Dビジュアルグラウンドの研究にとって重要なものであり、自動運転とサービスロボットの開発を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-04-12T06:48:26Z)
• Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting [64.7364925689825]
  Argoverse 2(AV2)は、自動運転分野の研究の知覚と予測のための3つのデータセットの集合である。 Lidarデータセットには、ラベルなしのLidar点雲とマップ整列ポーズの2万のシーケンスが含まれている。 Motion Forecastingデータセットには、各ローカルシーンにおける自動運転車と他のアクター間の興味深い、挑戦的なインタラクションのために採掘された25万のシナリオが含まれている。
  論文  参考訳（メタデータ） (2023-01-02T00:36:22Z)
• Learning from Unlabeled 3D Environments for Vision-and-Language Navigation [87.03299519917019]
  視覚言語ナビゲーション(VLN)では、自然言語の指示に従って現実的な3D環境をナビゲートするために、具体的エージェントが必要である。 我々はHM3Dから900の未ラベルの3Dビルディングから大規模VLNデータセットを自動生成することを提案する。 実験により, HM3D-AutoVLNはVLNモデルの一般化能力を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-08-24T21:50:20Z)
• PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
  点雲は3次元座標における空間データの密集したコンパイルである。 我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。