論文の概要: Into the Unknown: Generating Geospatial Descriptions for New Environments
- arxiv url: http://arxiv.org/abs/2406.19967v1
- Date: Fri, 28 Jun 2024 14:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 16:30:41.062708
- Title: Into the Unknown: Generating Geospatial Descriptions for New Environments
- Title（参考訳）: 未知の世界へ:新しい環境のための地理空間記述の生成
- Authors: Tzuf Paz-Argaman, John Palowitch, Sayali Kulkarni, Reut Tsarfaty, Jason Baldridge,
- Abstract要約: レンデブー課題は、同心空間関係の推論を必要とする。
座標と組み合わせたオープンソース記述(例えばウィキペディア)を使用することで、トレーニングデータを提供するが、空間指向の限られたテキストに悩まされる。
新しい環境のための高品質な合成データを生成するための大規模拡張手法を提案する。
- 参考スコア（独自算出の注目度）: 18.736071151303726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Similar to vision-and-language navigation (VLN) tasks that focus on bridging the gap between vision and language for embodied navigation, the new Rendezvous (RVS) task requires reasoning over allocentric spatial relationships (independent of the observer's viewpoint) using non-sequential navigation instructions and maps. However, performance substantially drops in new environments with no training data. Using opensource descriptions paired with coordinates (e.g., Wikipedia) provides training data but suffers from limited spatially-oriented text resulting in low geolocation resolution. We propose a large-scale augmentation method for generating high-quality synthetic data for new environments using readily available geospatial data. Our method constructs a grounded knowledge-graph, capturing entity relationships. Sampled entities and relations (`shop north of school') generate navigation instructions via (i) generating numerous templates using context-free grammar (CFG) to embed specific entities and relations; (ii) feeding the entities and relation into a large language model (LLM) for instruction generation. A comprehensive evaluation on RVS, showed that our approach improves the 100-meter accuracy by 45.83% on unseen environments. Furthermore, we demonstrate that models trained with CFG-based augmentation achieve superior performance compared with those trained with LLM-based augmentation, both in unseen and seen environments. These findings suggest that the potential advantages of explicitly structuring spatial information for text-based geospatial reasoning in previously unknown, can unlock data-scarce scenarios.
- Abstract（参考訳）: 視覚・言語ナビゲーション(VLN)タスクと同様に、視覚と言語の間のギャップを埋めることに集中するタスクと同様に、新しいRendezvous(RVS)タスクは、非順序的なナビゲーション命令とマップを使用して、全中心的な空間的関係(オブザーバの視点に依存しない)を推論する必要がある。
しかし、トレーニングデータなしではパフォーマンスが大幅に低下する。
座標と組み合わせたオープンソース記述(例えばウィキペディア)を使用することで、トレーニングデータを提供するが、空間指向の限られたテキストに悩まされ、位置情報の解像度が低くなる。
地理空間データを用いて,新しい環境のための高品質な合成データを生成するための大規模拡張手法を提案する。
本手法は,エンティティ関係を抽出し,基礎となる知識グラフを構築する。
サンプリングされたエンティティとリレーションシップ(‘学校の北のショップ’)は、ナビゲーション命令を生成する。
一 文脈自由文法(CFG)を用いて多数のテンプレートを生成して、特定の実体及び関係を埋め込むこと。
(2)命令生成のためにエンティティと関係を大言語モデル(LLM)に入力する。
RVSを総合評価した結果, 未確認環境における100m精度を45.83%向上させることができた。
さらに, CFGをベースとした拡張学習モデルでは, LLMをベースとした拡張学習モデルと比較して, 目立たない環境と見える環境の両方において, 優れた性能が得られることを示した。
これらの結果は,テキストに基づく地理空間的推論において空間情報を明示的に構造化することの潜在的な利点が,データ共有のシナリオをアンロックできることを示唆している。
関連論文リスト
- FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction [47.336599393600046]
textscFedNEは、textscFedAvgフレームワークと対照的なNEテクニックを統合する新しいアプローチである。
我々は、合成データセットと実世界のデータセットの両方について包括的な実験を行う。
論文 参考訳（メタデータ） (2024-09-17T19:23:24Z) - Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。
エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。
その結果,本手法は現在の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-08-21T03:31:30Z) - Geode: A Zero-shot Geospatial Question-Answering Agent with Explicit Reasoning and Precise Spatio-Temporal Retrieval [0.0]
本研究では,ゼロショット地理空間的質問応答タスクを高精度に処理するための先駆的システムを提案する。
当社のアプローチは,現在の大規模言語モデルの限界に対処する上で,大幅な改善を図っている。
論文 参考訳（メタデータ） (2024-06-26T21:59:54Z) - Towards Natural Language-Guided Drones: GeoText-1652 Benchmark with Spatial Relation Matching [60.645802236700035]
自然言語コマンドを通じてドローンをナビゲートすることは、アクセス可能なマルチモーダルデータセットが不足しているため、依然として難しい。
我々は新しい自然言語誘導ジオローカライゼーションベンチマークGeoText-1652を紹介する。
このデータセットは、インタラクティブなヒューマンコンピュータプロセスを通じて体系的に構築される。
論文 参考訳（メタデータ） (2023-11-21T17:52:30Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR
Data Classification [45.026868970899514]
本稿では,Nearest Neighbor-based Contrastive Learning Network (NNCNet)を提案する。
具体的には,近隣地域間のセマンティック関係を強化した近傍データ拡張手法を提案する。
さらに,HSIデータとLiDARデータ間の2次・高次特徴相互作用を生かしたバイリニアアテンションモジュールを設計する。
論文 参考訳（メタデータ） (2023-01-09T13:43:54Z) - Deep residential representations: Using unsupervised learning to unlock
elevation data for geo-demographic prediction [0.0]
LiDAR技術は、都市景観と農村景観の詳細な3次元標高マップを提供するために利用することができる。
現在まで、空中LiDAR画像は、主に環境と考古学の領域に限られている。
我々は、このデータの適合性は、独自のだけでなく、人口統計学的特徴と組み合わせたデータの源でもあると考え、埋め込みの現実的なユースケースを提供する。
論文 参考訳（メタデータ） (2021-12-02T17:10:52Z) - An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot
Learning [77.72330187258498]
エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。
ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。
グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
論文 参考訳（メタデータ） (2021-11-03T11:13:13Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳（メタデータ） (2021-09-08T18:10:08Z) - Geography-Aware Self-Supervised Learning [79.4009241781968]
異なる特徴により、標準ベンチマークにおけるコントラスト学習と教師あり学習の間には、非自明なギャップが持続していることが示される。
本稿では,リモートセンシングデータの空間的整合性を利用した新しいトレーニング手法を提案する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションにおけるコントラスト学習と教師あり学習のギャップを埋めるものである。
論文 参考訳（メタデータ） (2020-11-19T17:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。