論文の概要: LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds
- arxiv url: http://arxiv.org/abs/2611.17267v1
- Date: Thu, 12 Nov 2026 18:45:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.590825
- Title: LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds
- Title(参考訳): LiveGeo: 継続的進化の世界における地理エージェントのベンチマーク
- Abstract要約: LLMエージェントのための制御可能で継続的に進化する地理環境プラットフォームGeoWorldを紹介する。
また、実世界の地理環境における信頼性の高い意思決定のためのベンチマークであるLiveGeoをGeoWorldを用いて紹介する。
- 参考スコア(独自算出の注目度): 49.219270133972195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce GeoWorld, a controllable and continuously evolving geographic environment platform for LLM agents, and LiveGeo, a benchmark for evaluating reliable decision-making in real-world geographic environments using GeoWorld. Unlike existing evaluations that largely reason and plan over fixed geographic states, GeoWorld is grounded in real-world geographic structure and allows external world states to evolve along their own temporal processes while preserving verifiable state histories. LiveGeo places geographic tasks within this evolving environment, requiring agents to actively acquire task-relevant information, verify whether the evidence supporting prior decisions remains valid, and revise their plans when necessary. Our results reveal that even frontier LLMs struggle with static tasks, with no model consistently excelling across tasks, while strong static performance does not ensure dynamic reliability. Further analysis identifies a key bottleneck: agents struggle to acquire and translate relevant evidence into valid decisions and maintain their correctness as the world evolves. By releasing LiveGeo together with its GeoWorld platform, we aim to provide the community with a flexible and extensible infrastructure for studying the next generation of agents capable of reliable action in evolving geographic worlds.
- Abstract(参考訳): 我々は、LLMエージェントのための制御可能で継続的な進化を続ける地理環境プラットフォームであるGeoWorldと、実世界の地理環境における信頼性の高い意思決定を評価するためのベンチマークであるLiveGeoを紹介する。
固定された地理的状態に対する合理的かつ計画的な既存の評価とは異なり、GeoWorldは現実世界の地理的構造に根ざしており、検証可能な状態履歴を保持しながら、外界の状態を自身の時間的プロセスに沿って進化させることができる。
LiveGeoはこの進化する環境内に地理的タスクを配置し、エージェントはタスク関連情報を積極的に取得し、事前決定を支持する証拠が有効かどうかを確認し、必要に応じて計画を変更する必要がある。
以上の結果から,LLM が静的タスクに悩まされる一方で,モデルがタスク全体にわたって常に優れており,強力な静的パフォーマンスは動的信頼性を保証できないことが明らかとなった。
エージェントは、関連する証拠を取得し、有効な決定に翻訳し、世界が進化するにつれてその正しさを維持するのに苦労する。
我々は,そのGeoWorldプラットフォームとともにLiveGeoをリリースすることによって,次世代エージェントを研究するためのフレキシブルで拡張可能な基盤をコミュニティに提供することを目的としている。
関連論文リスト
- GeoAgent: Evaluating VLM Geolocalization Through Embodied Navigation [1.7370190083648793]
現代のビジョンランゲージモデル(VLM)は、画像のジオローカライゼーションにおいて、人間のベースラインよりはるかに高い性能を発揮する。
我々は,エージェントがストリートビュー環境をナビゲートする必要があるエージェント環境ベースのベンチマークであるtextbfGeoAgentを紹介する。
我々の分析によると、現代のVLMは、国や大陸レベルでの予測を成功させながら、地域パターンの識別に苦慮している。
論文 参考訳(メタデータ) (2026-08-30T00:19:49Z) - Learning to Wander: Improving the Global Image Geolocation Ability of LMMs via Actionable Reasoning [72.13218601075958]
textbfWanderBenchは,具体的シナリオにおける行動可能な位置情報推論のための,最初のオープンアクセスグローバルジオロケーションベンチマークである。
我々は,下線Action of UnderlineThoughを用いた下線Geolocationフレームワークである textbfGeoAoT (Action of Thought) を提案する。
19個の大規模マルチモーダルモデルによる実験により、GeoAoTは動的環境におけるより優れた微細な局所化とより強力な一般化を実現することが示された。
論文 参考訳(メタデータ) (2026-03-11T06:24:10Z) - GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics [91.17301794848025]
本稿では,人間と密に推論し,詳細なアドレス結論を導出できるGeoAgentについて述べる。
従来のRLベースの手法は、パフォーマンスと解釈可能性においてブレークスルーを達成したが、AI生成のチェーン・オブ・プリート(CoT)データとトレーニング戦略に依存しているため、依然として懸念が残っている。
論文 参考訳(メタデータ) (2026-02-13T04:48:05Z) - Geolocation with Real Human Gameplay Data: A Large-Scale Dataset and Human-Like Reasoning Framework [59.42946541163632]
3つの重要なコンポーネントを持つ包括的位置決めフレームワークを導入する。
大規模データセットGeoComp、新しい推論手法GeoCoT、評価指標GeoEval。
また,GeoCoTは解釈可能性を高めつつ,位置情報の精度を最大25%向上させることを示した。
論文 参考訳(メタデータ) (2025-02-19T14:21:25Z) - GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。
オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。
我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳(メタデータ) (2023-05-11T03:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。