論文の概要: GeoOutageBench: Benchmarking Ambiguity-aware, Ontology-grounded Geospatiotemporal KGQA for Multimodal Power Outage and Resilience Analysis
- arxiv url: http://arxiv.org/abs/2609.36082v1
- Date: Mon, 28 Sep 2026 18:26:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.93977
- Title: GeoOutageBench: Benchmarking Ambiguity-aware, Ontology-grounded Geospatiotemporal KGQA for Multimodal Power Outage and Resilience Analysis
- Title（参考訳）: GeoOutageBench:マルチモーダル電源停止とレジリエンス解析のためのベンチマーク用アンビグニティー対応オントロジー接地時空間KGQA
- Abstract要約: GeoOutageBenchは、レジリエンス分析のためのGeotemporal-based KGQAを評価するためのベンチマークである。
これは、リモート気象、嵐検知イベント、地理的実体、時間的共起分析などの障害記録からの視覚的観察を統合している。
ユーザ設定可能な3つの重要な、高度に一貫性のある、そしてあまり研究されていないタスクの評価を提供する。
- 参考スコア（独自算出の注目度）: 4.986559050629073
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce GeoOutageBench, a benchmark for assessing LLM-based geospatiotemporal KGQA for multimodal outage and resilience analysis. Unlike existing KGQA benchmarks for Web knowledge, GeoOutageBench considers a spatiotemporal KG that integrates visual, textual, and structured data from outage records, remote sensing, weather observations, storm and power events, geographic entities, and domain ontologies. It provides a competency query taxonomy at different difficulty levels from spatiotemporal containment and proximity, spatiotemporal co-occurrence analysis, multimodal evidence, to hypothetical evaluation. Over multimodal KG and query classes, GeoOutageBench provides user-configurable evaluation of three important, highly coherent yet less studied tasks: (1) LLMs' understanding for ambiguous geospatiotemporal questions in terms of NL to SPARQL interpretation, (2) query-driven assessment of ontology utility, and (3) answer accuracy of multimodal KGQA retrieval. GeoOutageBench provides a design principle and foundation for assessing LLM-KG systems that support real-world infrastructure resilience analysis. Our benchmark, source code, data, results, and other documentation are available at https://github.com/UCF-SAGE/GeoOutageBench.
- Abstract（参考訳）: マルチモーダル障害とレジリエンス解析のためのLLMに基づく時空間KGQAを評価するベンチマークであるGeoOutageBenchを紹介する。
既存のWeb知識のためのKGQAベンチマークとは異なり、GeoOutageBenchは、視覚的、テキスト的、構造化されたデータ、リモートセンシング、気象観測、嵐と電力イベント、地理的エンティティ、ドメインオントロジーを統合した時空間KGを考えている。
時空間的包摂と近接、時空間的共起分析、マルチモーダルエビデンス、仮説的評価など、様々な難易度で有能なクエリ分類を提供する。
マルチモーダルなKGとクエリクラスにおいて,GeoOutageBenchは,(1)NLからSPARQLへの解釈,(2)オントロジーユーティリティのクエリ駆動評価,(3)マルチモーダルなKGQA検索の回答精度の3つの重要な,高度に一貫性のある,かつ少ない研究課題に対するユーザ設定可能な評価を提供する。
GeoOutageBenchは、現実のインフラレジリエンス分析をサポートするLLM-KGシステムを評価するための設計原則と基盤を提供する。
私たちのベンチマーク、ソースコード、データ、結果、その他のドキュメントはhttps://github.com/UCF-SAGE/GeoOutageBench.orgで公開されています。
関連論文リスト
- HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities [11.096574335599092]
HOME-KGQAは,日常生活活動のマルチモーダルKG上に構築された新しいKGQAベンチマークである。
Home-KGQAは、グラフデータベースクエリ言語と組み合わせた複雑なマルチホップ自然言語の質問で構成されている。
その結果,LLMベースのKGQA手法は既存のデータセットと同等の性能を達成できないことがわかった。
論文 参考訳（メタデータ） (2026-05-10T06:00:29Z) - EVGeoQA: Benchmarking LLMs on Dynamic, Multi-Objective Geo-Spatial Exploration [3.059053384364342]
EVGeoQAは電気自動車(EV)充電シナリオに基づく新しいベンチマークである。
EVGeoQAの各クエリは、ユーザのリアルタイム座標に明示的に結び付けられ、充電の必要性の2つの目的と、同時に位置付けられたアクティビティの嗜好を統合する。
実験の結果,LLMはサブタスクに対処するためのツールをうまく利用しているが,長距離空間探索に苦慮していることがわかった。
論文 参考訳（メタデータ） (2026-04-08T13:20:38Z) - Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。
広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。
我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。
本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文 参考訳（メタデータ） (2025-05-29T14:44:52Z) - GeoGrid-Bench: Can Foundation Models Understand Multimodal Gridded Geo-Spatial Data? [5.017671236021897]
GeoGrid-Benchは、グリッド構造における地理空間データを理解する基礎モデルの能力を評価するために設計されたベンチマークである。
このベンチマークでは、150カ所にわたる16の気候変数と、拡張された時間フレームをカバーする、大規模で現実的なデータを取り上げている。
論文 参考訳（メタデータ） (2025-05-15T21:31:44Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳（メタデータ） (2024-11-28T18:59:56Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - MGeo: Multi-Modal Geographic Pre-Training Method [49.78466122982627]
マルチモーダルジオグラフィック言語モデル(MGeo)を提案する。
MGeoはGCを新しいモダリティとして表現し、正確なクエリ-POIマッチングのためのマルチモーダル相関を完全に抽出することができる。
提案するマルチモーダル事前学習法は,汎用PTMのクエリ-POIマッチング能力を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-01-11T03:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。