論文の概要: DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization
- arxiv url: http://arxiv.org/abs/2607.24856v1
- Date: Sun, 26 Jul 2026 02:51:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.556127
- Title: DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization
- Title(参考訳): 災害TD:マルチモーダルLLMとクロスビュー地平化を用いた災害の匿名化
- Abstract要約: ソーシャルメディア画像(SMI)は、状況認識と緊急対応に有用な、タイムリーできめ細かな地上の視点を提供する。
SMIの地理的参照はしばしば曖昧または曖昧であり、正確な地理的局所化を困難にしている。
本研究では,マルチモーダルな大言語モデル(MLLM)に基づく意味推論とクロスビューなジオローカライゼーションを統合した災害トポニムの曖昧化フレームワークであるDreamaTDを提案する。
- 参考スコア(独自算出の注目度): 38.854595481332275
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Social media imagery (SMI) provides timely and fine-grained ground perspectives that are valuable for situational awareness and emergency response. Unlike satellite or aerial imagery, SMI can capture disaster impacts and ground-level conditions in a timely manner. However, geographic references in SMI are often vague or ambiguous, making accurate geolocalization challenging. To address this issue, we propose DisasterTD, a disaster toponym disambiguation framework that integrates multimodal large language model (MLLMs)-based semantic reasoning with cross-view geolocalization. First, MLLMs extract toponyms and generate candidate geolocations from noisy textual inputs. Then, cross-view matching between SMI, remote sensing imagery (RSI), and optionally street-view imagery (SVI) is used to verify and refine these candidate results. We evaluate DisasterTD on the Hurricane Harvey dataset, where SMI is augmented with collected RSI and SVI to construct a cross-view benchmark for disaster geolocalization. The dataset is divided into four categories based on toponym clarity and ambiguity, allowing a fine-grained performance analysis across scenarios. Results show that DisasterTD consistently outperforms MLLM-only and cross-view-only baselines without disambiguation, achieving geolocalization accuracies of 71.62% within 1000 m, 62.36% within 500 m, 57.99% within 250 m, 52.09% within 100 m, and 47.01% within 50 m, while reducing the mean and median errors to 11.33 km and 0.68 km, respectively. The largest improvements appear in ambiguous toponyms, where semantic reasoning with cross-view evidence reduces candidate dispersion and errors. These findings demonstrate the effectiveness of integrating MLLM-based candidate generation with cross-view verification for fine-grained disaster geolocalization.
- Abstract(参考訳): ソーシャルメディア画像(SMI)は、状況認識と緊急対応に有用な、タイムリーできめ細かな地上の視点を提供する。
衛星や航空画像とは異なり、SMIは災害や地上レベルの状況をタイムリーに捉えることができる。
しかし、SMIの地理的参照はしばしば曖昧または曖昧であり、正確な地理的局所化を困難にしている。
この問題を解決するために,マルチモーダルな大言語モデル(MLLM)に基づく意味推論とクロスビューなジオローカライゼーションを統合した災害トポニムの曖昧化フレームワークであるDreamaTDを提案する。
まず、MLLMは、雑音の多いテキスト入力から、トポロニムを抽出し、候補位置情報を生成する。
次に、SMI、リモートセンシング画像(RSI)、オプションでストリートビュー画像(SVI)の相互マッチングを用いて、これらの候補を検証・精査する。
ハリケーン・ハーベイ・データセット上での災害TDの評価を行い、SMIを収集したRSIとSVIで拡張し、災害地形のクロスビュー・ベンチマークを構築した。
データセットは、トポニムの明快さと曖昧さに基づいて4つのカテゴリに分けられ、シナリオ間の詳細なパフォーマンス分析が可能になる。
その結果、災害TDはMLLMのみのベースラインとクロスビューのみのベースラインを曖昧さなく一貫して上回り、1000mで71.62%、500mで62.36%、250mで57.99%、100mで57.99%、50mで47.01%と、平均誤差と中央値の誤差をそれぞれ11.33kmと0.68kmに減らした。
最大の改善点は曖昧なトポニムに現れ、クロスビューの証拠による意味論的推論は、候補の分散と誤りを減少させる。
これらの結果から, MLLMをベースとした候補生成とクロスビュー検証を併用し, 微粒な災害局地化を実現する効果が示された。
関連論文リスト
- Cross-View Sequential Visual Localization with Spatio-Temporal Context Modeling for Autonomous Driving [6.234507553234407]
地上画像と衛星地図とを視認する。
既存のクロスビュー視覚的ローカライゼーション手法は、各フレームを独立して処理する。
本研究では,クロスビュー・シーケンス・ビジュアル・ローカライゼーションのための時間コンテキスト拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-11T08:44:42Z) - SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models [9.496555964908188]
マルチモーダル大規模言語モデル(MLLM)は、視覚とテキストの組み合わせによって現実の場面で基礎となる予測を行う。
SIGNPOST-Benchは,テキストビジョンのコンフリクト分解能を評価するための,制御されたデファクト・デファクト・ベンチマークである。
論文 参考訳(メタデータ) (2026-08-04T21:55:47Z) - GeoISF: Instance Semantic Forest Inspired Large-Scale Cross-View Geo-Localization via Ground LiDAR-to-Satellite Image [15.591523786591575]
本稿ではGeoISFと呼ばれる大規模LiDAR-to-imageジオローカライゼーションパイプラインを紹介する。
環境意味表現を共有媒体として活用することにより、GeoISFはモダリティギャップを効果的にブリッジし、セマンティックマッチング精度を向上させる。
論文 参考訳(メタデータ) (2026-06-17T02:17:02Z) - Globally Localizing Lunar Rover in Pixels via Graph Alignment [8.734737017643416]
クロスビューローカライゼーションは、ローバービューと衛星ビューの画像とをマッチングすることにより、ドリフトフリーなグローバルソリューションを提供する。
統合グラフ学習と再計画グラフマッチングを併用し、堅牢なクロスビューアライメントを実現するフレームワークであるウォープアライメント・オブ・リジェンドグラフ(WARG)を提案する。
論文 参考訳(メタデータ) (2026-06-09T09:04:54Z) - Can LLM Agents Respond to Disasters? Benchmarking Heterogeneous Geospatial Reasoning in Emergency Operations [55.251494694783894]
災害対応エージェントベンチマーク(DORA)は、エンド・ツー・エンドの災害対応のための最初のエージェントベンチマークである。
タスクは、災害認識、空間関係分析、救助・避難計画、時間的進化推論、マルチモーダルレポート合成という、災害対応パイプラインをカバーする5つの次元にまたがる。
DORAは、運用上の信頼性の高い災害対応エージェントのための厳格なテストベッドを確立する。
論文 参考訳(メタデータ) (2026-05-12T06:57:41Z) - Zero-Shot Satellite Image Retrieval through Joint Embeddings: Application to Crisis Response [0.6614755043607777]
GeoQueryはゼロショット検索システムで、2段階のセマンティック検索とビジュアル検索によってデータと制約をサイドステップで計算する。
イギリスの洪水、アメリカの山火事、米国の干ばつを含む76の災害対応クエリに対して、GeoQueryは50,km以内で31.6%の精度を達成した。
論文 参考訳(メタデータ) (2026-05-06T19:43:44Z) - Just Zoom In: Cross-View Geo-Localization via Autoregressive Zooming [4.396860522241306]
クロスビュージオローカライゼーションは、ストリートビュー画像とジオレファレンスされたオーバーヘッド画像とをマッチングすることにより、カメラの位置を推定する。
既存の手法は、対照的に訓練された埋め込み空間における画像検索問題としてCVGLをほぼ普遍的に定式化する。
都市規模のオーバヘッドマップ上でオートレズームによりCVGLを実行する代替式であるJust Zoom Inを提案する。
論文 参考訳(メタデータ) (2026-03-26T17:36:33Z) - ALIGN: A Vision-Language Framework for High-Accuracy Accident Location Inference through Geo-Spatial Neural Reasoning [0.0]
低所得国や中所得国の多くは、正確な場所固有のクラッシュデータ不足に直面している。
既存のテキストベースのジオコーディングツールは、多言語および非構造化のニュース環境では性能が良くない。
本研究では,事故座標を推定するための空間推論をエミュレートする視覚言語フレームワークであるALIGNを紹介する。
論文 参考訳(メタデータ) (2025-11-09T10:44:26Z) - Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。
我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
論文 参考訳(メタデータ) (2025-10-13T01:12:21Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳(メタデータ) (2024-11-28T18:59:56Z) - See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。
得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文 参考訳(メタデータ) (2023-12-13T18:58:04Z) - Beyond Cross-view Image Retrieval: Highly Accurate Vehicle Localization
Using Satellite Image [91.29546868637911]
本稿では,地上画像と架空衛星地図とをマッチングすることにより,車載カメラのローカライゼーションの問題に対処する。
鍵となる考え方は、タスクをポーズ推定として定式化し、ニューラルネットベースの最適化によってそれを解くことである。
標準自動運転車のローカライゼーションデータセットの実験により,提案手法の優位性が確認された。
論文 参考訳(メタデータ) (2022-04-10T19:16:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。