論文の概要: Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic Factuality Aligning

• arxiv url: http://arxiv.org/abs/2507.19586v1
• Date: Fri, 25 Jul 2025 18:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.759511
• Title: Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic Factuality Aligning
• Title（参考訳）: 大規模言語モデルにおける地理空間知識の幻覚の緩和:ベンチマークと動的ファクチュアリティアライメント
• Authors: Shengyuan Wang, Jie Feng, Tianhui Liu, Dan Pei, Yong Li,
• Abstract要約: 大規模言語モデル(LLM)は地理空間的知識を含む広い世界的知識を持つ。 LLMはしばしば不正確な地理空間知識を生成し、地理空間幻覚を引き起こす。 本研究では,地理空間知識グラフを制御評価に利用した地理空間幻覚の包括的評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.759523915137299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) possess extensive world knowledge, including geospatial knowledge, which has been successfully applied to various geospatial tasks such as mobility prediction and social indicator prediction. However, LLMs often generate inaccurate geospatial knowledge, leading to geospatial hallucinations (incorrect or inconsistent representations of geospatial information) that compromise their reliability. While the phenomenon of general knowledge hallucination in LLMs has been widely studied, the systematic evaluation and mitigation of geospatial hallucinations remain largely unexplored. To address this gap, we propose a comprehensive evaluation framework for geospatial hallucinations, leveraging structured geospatial knowledge graphs for controlled assessment. Through extensive evaluation across 20 advanced LLMs, we uncover the hallucinations in their geospatial knowledge. Building on these insights, we introduce a dynamic factuality aligning method based on Kahneman-Tversky Optimization (KTO) to mitigate geospatial hallucinations in LLMs, leading to a performance improvement of over 29.6% on the proposed benchmark. Extensive experimental results demonstrate the effectiveness of our benchmark and learning algorithm in enhancing the trustworthiness of LLMs in geospatial knowledge and reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は地理空間的知識を含む広い世界知識を有しており、移動予測や社会的指標予測といった様々な地理空間的タスクにうまく適用されている。 しかし、LLMは不正確な地理空間知識を生み出すことが多く、その信頼性を損なうような地理空間幻覚(不正確または矛盾した地理空間情報の表現)を引き起こす。 LLMにおける一般知識幻覚の現象は広く研究されているが、地理空間幻覚の系統的評価と緩和は未解明のままである。 このギャップに対処するために,構造的地理空間知識グラフを制御評価に活用した地理空間幻覚の総合的評価フレームワークを提案する。 20の高度LLMの広範な評価を通じて,その地理空間的知識の幻覚を明らかにする。 これらの知見に基づいて,LLMにおける地理空間幻覚を緩和するため,KTO(Kahneman-Tversky Optimization)に基づく動的事実整合手法を導入し,提案したベンチマークで29.6%以上の性能改善を実現した。 地空間知識と推論タスクにおけるLLMの信頼性を高めるために,我々のベンチマークと学習アルゴリズムの有効性を実証した。

関連論文リスト

• From Pixels to Places: A Systematic Benchmark for Evaluating Image Geolocalization Ability in Large Language Models [14.178064117544082]
  画像のジオローカライゼーションは、危機対応、デジタル法医学、位置に基づくインテリジェンスなどの応用において重要である。 大規模言語モデル(LLM)の最近の進歩は、視覚的推論の新しい機会を提供する。 我々は, 精度, 距離誤差, 地理空間バイアス, 推論過程を体系的に評価する, imageO-Bench というベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-08-03T06:04:33Z)
• OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
  マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。 地理空間応用に適したMLLM(OmniGeo)を提案する。 自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
  論文  参考訳（メタデータ） (2025-03-20T16:45:48Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
  PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。 我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
  論文  参考訳（メタデータ） (2024-04-06T20:02:20Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• Are Large Language Models Geospatially Knowledgeable? [21.401931052512595]
  本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。 自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
  論文  参考訳（メタデータ） (2023-10-09T17:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。