論文の概要: TurnBack: A Geospatial Route Cognition Benchmark for Large Language Models through Reverse Route

• arxiv url: http://arxiv.org/abs/2509.18173v1
• Date: Wed, 17 Sep 2025 15:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.453433
• Title: TurnBack: A Geospatial Route Cognition Benchmark for Large Language Models through Reverse Route
• Title（参考訳）: TurnBack: 逆ルートによる大規模言語モデルの地理空間的経路認識ベンチマーク
• Authors: Hongyi Luo, Qing Cheng, Daniel Matos, Hari Krishna Gadi, Yanfeng Zhang, Lu Liu, Yongliang Wang, Niclas Zeller, Daniel Cremers, Liqiu Meng,
• Abstract要約: 世界中の12の都市から36000のルートからなる大規模評価データセットを作成しました。 自然言語命令をナビゲーションルートに変換する新しいツールであるPathBuilderを紹介する。 経路反転の課題に対して,11のSOTA (State-of-the-art) LLMを厳格に評価する。
• 参考スコア（独自算出の注目度）: 45.16008377814563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can interpret geospatial information through natural language, while the geospatial cognition capabilities of Large Language Models (LLMs) remain underexplored. Prior research in this domain has been constrained by non-quantifiable metrics, limited evaluation datasets and unclear research hierarchies. Therefore, we propose a large-scale benchmark and conduct a comprehensive evaluation of the geospatial route cognition of LLMs. We create a large-scale evaluation dataset comprised of 36000 routes from 12 metropolises worldwide. Then, we introduce PathBuilder, a novel tool for converting natural language instructions into navigation routes, and vice versa, bridging the gap between geospatial information and natural language. Finally, we propose a new evaluation framework and metrics to rigorously assess 11 state-of-the-art (SOTA) LLMs on the task of route reversal. The benchmark reveals that LLMs exhibit limitation to reverse routes: most reverse routes neither return to the starting point nor are similar to the optimal route. Additionally, LLMs face challenges such as low robustness in route generation and high confidence for their incorrect answers. Code\ \&\ Data available here: \href{https://github.com/bghjmn32/EMNLP2025_Turnback}{TurnBack.}
• Abstract（参考訳）: 人間は自然言語で地理空間情報を解釈できるが、Large Language Models (LLMs) の地理空間認識能力はいまだ解明されていない。 この領域における以前の研究は、定量化不可能なメトリクス、限られた評価データセット、不明な研究階層によって制限されてきた。 そこで我々は,大規模ベンチマークを提案し,LLMの地理空間的経路認識を包括的に評価する。 世界中の12の都市から36000のルートからなる大規模評価データセットを作成しました。 そこで我々は,自然言語命令をナビゲーション経路に変換する新しいツールであるPathBuilderを紹介し,その逆も,地理空間情報と自然言語のギャップを埋める。 最後に,経路反転の課題に対して,11個のSOTA (State-of-the-art) LLMを厳格に評価するための新しい評価フレームワークとメトリクスを提案する。 LLMは逆ルートに制限があり、ほとんどの逆ルートは出発点に戻らないし、最適ルートと似ていない。 さらに、LLMはルート生成におけるロバストネスの低さや、その誤った回答に対する高い信頼性といった課題に直面している。 Code\ \&\ Data available here: \href{https://github.com/bghjmn32/EMNLP2025_Turnback}{TurnBack。 ※

関連論文リスト

• RALLM-POI: Retrieval-Augmented LLM for Zero-shot Next POI Recommendation with Geographical Reranking [7.085868567930685]
  次の関心のポイント(POI)推奨は、ユーザの次の目的地を歴史的な動きから予測する。 従来のモデルは集中的なトレーニングを必要とし、LSMは柔軟性と一般化可能なゼロショットソリューションを提供する。 ALLM-POIは,LLMと検索強化生成と自己修正を結合したフレームワークである。
  論文  参考訳（メタデータ） (2025-09-21T12:52:28Z)
• LLMAP: LLM-Assisted Multi-Objective Route Planning with User Preferences [31.10423199218523]
  大規模言語モデル(LLM)の台頭により、リッチなユーザ目標を含む新たな研究領域を自然言語駆動で計画するルートが生まれている。 本稿では,自然言語を理解し,タスクを識別し,ユーザの好みを抽出するLLM-asタスクを提案する。 世界中の14の国と27の都市で、様々な複雑さでサンプリングされた1000のルーティングプロンプトを用いて広範な実験を行っている。
  論文  参考訳（メタデータ） (2025-09-14T02:30:19Z)
• Unlocking Location Intelligence: A Survey from Deep Learning to The LLM Era [12.411524513969603]
  位置インテリジェンス(英: Location Intelligence, LI)は、位置中心の地理空間データを行動可能な知識に変換する科学である。 地理空間表現学習の急速な進化は、2つの連続した技術革命を通じて、LI開発を根本的に変えつつある。 本調査は,両技術時代における地理空間表現学習の総合的なレビューである。
  論文  参考訳（メタデータ） (2025-05-13T12:16:26Z)
• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• MGeo: Multi-Modal Geographic Pre-Training Method [49.78466122982627]
  マルチモーダルジオグラフィック言語モデル(MGeo)を提案する。 MGeoはGCを新しいモダリティとして表現し、正確なクエリ-POIマッチングのためのマルチモーダル相関を完全に抽出することができる。 提案するマルチモーダル事前学習法は,汎用PTMのクエリ-POIマッチング能力を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-11T03:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。