論文の概要: GeoReasoner: Geo-localization with Reasoning in Street Views using a Large Vision-Language Model

• arxiv url: http://arxiv.org/abs/2406.18572v2
• Date: Thu, 17 Oct 2024 03:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:59.182659
• Title: GeoReasoner: Geo-localization with Reasoning in Street Views using a Large Vision-Language Model
• Title（参考訳）: GeoReasoner:大規模視覚言語モデルを用いたストリートビューにおける推論による地理局在化
• Authors: Ling Li, Yu Ye, Bingchuan Jiang, Wei Zeng,
• Abstract要約: 本研究は,大規模視覚言語モデル(LVLM)を用いた新しいパラダイムによる地理的局在化の課題に取り組む。 既存のストリートビューデータセットには、視覚的な手がかりがなく、推論に理由がない多くの低品質画像が含まれていることが多い。 データ品質の問題に対処するため、我々はCLIPベースのネットワークを考案し、街路ビュー画像がどこにあるかを定量化する。 推論の精度を高めるために,実地局所化ゲームから得られた外部知識を統合し,価値ある人間の推論能力を活用する。
• 参考スコア（独自算出の注目度）: 6.135404769437841
• License:
• Abstract: This work tackles the problem of geo-localization with a new paradigm using a large vision-language model (LVLM) augmented with human inference knowledge. A primary challenge here is the scarcity of data for training the LVLM - existing street-view datasets often contain numerous low-quality images lacking visual clues, and lack any reasoning inference. To address the data-quality issue, we devise a CLIP-based network to quantify the degree of street-view images being locatable, leading to the creation of a new dataset comprising highly locatable street views. To enhance reasoning inference, we integrate external knowledge obtained from real geo-localization games, tapping into valuable human inference capabilities. The data are utilized to train GeoReasoner, which undergoes fine-tuning through dedicated reasoning and location-tuning stages. Qualitative and quantitative evaluations illustrate that GeoReasoner outperforms counterpart LVLMs by more than 25% at country-level and 38% at city-level geo-localization tasks, and surpasses StreetCLIP performance while requiring fewer training resources. The data and code are available at https://github.com/lingli1996/GeoReasoner.
• Abstract（参考訳）: 本研究は,人間の推論知識を付加した大規模視覚言語モデル (LVLM) を用いた新しいパラダイムを用いて,ジオローカライゼーションの課題に取り組む。 既存のストリートビューデータセットには、視覚的な手がかりが欠如し、推論が欠如している多くの低品質画像が含まれていることが多い。 データ品質の問題に対処するため、我々はCLIPベースのネットワークを考案し、街路ビューがどこにあるかを定量化し、高度に配置可能な街路ビューからなる新しいデータセットを作成する。 推論の精度を高めるために,実地局所化ゲームから得られた外部知識を統合し,価値ある人間の推論能力を活用する。 データはGeoReasonerのトレーニングに利用される。 質的および定量的評価により、GeoReasonerは、国レベルでは25%以上、都市レベルでは38%、StreetCLIPのパフォーマンスを上回り、トレーニングリソースの削減を図っている。 データとコードはhttps://github.com/lingli1996/GeoReasoner.comで入手できる。

関連論文リスト

• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• Image-Based Geolocation Using Large Vision-Language Models [19.071551941682063]
  画像に基づく位置情報の精度を大幅に向上する革新的なフレームワークであるToolを紹介した。 ツールは体系的なチェーン・オブ・シント(CoT)アプローチを採用し、人間のジオゲスティング戦略を模倣する。 GeoGuessrゲームの平均スコアは4550.5で85.37%で、高精度な位置情報予測を行う。
  論文  参考訳（メタデータ） (2024-08-18T13:39:43Z)
• CurriculumLoc: Enhancing Cross-Domain Geolocalization through Multi-Stage Refinement [11.108860387261508]
  ビジュアルジオローカライゼーションはコスト効率が高くスケーラブルなタスクであり、未知の場所で撮影された1つ以上のクエリイメージとジオタグ付き参照イメージのセットをマッチングする。 我々は,グローバルな意味認識と局所的幾何学的検証を備えたキーポイント検出と記述法であるCurriculumLocを開発した。 我々は、ALTOで62.6%と94.5%の新しいハイリコール@1スコアをそれぞれ2つの異なる距離で達成した。
  論文  参考訳（メタデータ） (2023-11-20T08:40:01Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization [61.10806364001535]
  世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。 既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。 画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-09-27T20:54:56Z)
• GeoNet: Benchmarking Unsupervised Adaptation across Geographies [71.23141626803287]
  地理的ロバスト性の問題について検討し、3つの主要な貢献を行う。 まず,地理的適応のための大規模データセットGeoNetを紹介する。 第2に、シーンコンテキストにおける大きな変化から、ドメインシフトの主な原因が生じるという仮説を立てる。 第3に、最先端の教師なしドメイン適応アルゴリズムとアーキテクチャを広範囲に評価する。
  論文  参考訳（メタデータ） (2023-03-27T17:59:34Z)
• GSV-Cities: Toward Appropriate Supervised Visual Place Recognition [3.6739949215165164]
  我々は,GSV-Citiesという画像データセットを紹介した。 次に、位置認識に特化してネットワークをトレーニングするディープメトリックス学習の進歩の可能性について検討する。 ピッツバーグ、Mapillary-SLS、SPED、Norlandといった大規模ベンチマークで、最先端の新たなベンチマークを確立します。
  論文  参考訳（メタデータ） (2022-10-19T01:39:29Z)
• Learning Large-scale Location Embedding From Human Mobility Trajectories with Graphs [0.0]
  本研究では,大規模LBSデータを用いて位置のベクトル表現を学習する。 このモデルは、人間のモビリティと空間情報にコンテキスト情報を組み込む。 GCN-L2Vは、他の場所埋め込み法や下流のGeo-Awareアプリケーションと相補的に適用することができる。
  論文  参考訳（メタデータ） (2021-02-23T09:11:33Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)
• Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization [54.00111565818903]
  クロスビューなジオローカライゼーションは、異なるプラットフォームから同じ地理的ターゲットの画像を見つけることである。 既存の手法は通常、画像センター内の地理的ターゲットの微細な特徴をマイニングすることに集中している。 我々は、文脈情報を活用するために、ローカルパターンネットワーク(LPN)と呼ばれるシンプルで効果的なディープニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-08-26T16:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。