論文の概要: GeoLEON-CLIP: Graph-Anchored Multimodal Contrastive Learning for Geographic Region Representation
- arxiv url: http://arxiv.org/abs/2610.32311v1
- Date: Fri, 23 Oct 2026 08:11:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.428988
- Title: GeoLEON-CLIP: Graph-Anchored Multimodal Contrastive Learning for Geographic Region Representation
- Title（参考訳）: GeoLEON-CLIP:地理領域表現のためのグラフ型マルチモーダルコントラスト学習
- Abstract要約: GeoLEON-CLIPはグラフアンコールされたコントラストフレームワークで、各H3インデックス領域の3つのビューを整列する。
凍結グラフ埋め込みは、視覚と言語の間のセマンティックアンカーを提供する。
実験では、強いグラフイメージとグラフテキストアライメントが示される。
- 参考スコア（独自算出の注目度）: 40.20716755377561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geographic regions are multimodal: satellite imagery captures visual morphology, text conveys human-interpretable semantics, and map structures describe urban context. Existing geospatial contrastive methods typically align image-text or image-location pairs, underusing structured map data. We introduce GeoLEON-CLIP, a graph-anchored contrastive framework that aligns three views of each H3-indexed region: an OpenStreetMap-derived graph embedding, a satellite image crop, and a textual description. Frozen pretrained LEON graph embeddings provide a semantic anchor between vision and language. Frozen graph, image, and text encoders are connected by trainable residual projection heads and trained with a symmetric tri-modal contrastive objective. Experiments show strong graph-image and graph-text alignment; graph-image retrieval achieves the best cross-modal performance in a mixed-resolution pool. To evaluate the anchoring hypothesis, we propose chained cross-modal recall $\mathrm{R}@A@B$, which routes retrieval through the graph modality and compares it with direct retrieval under a matched candidate budget. At $\mathrm{R}@1@1$, image$\rightarrow$graph$\rightarrow$text and text$\rightarrow$graph$\rightarrow$image outperform direct image-text retrieval by 4.8 and 4.4 points, respectively, despite using a single intermediate cell. Downstream probes show task-dependent gains, with the largest improvements on Airbnb and Beijing housing. These results indicate that OpenStreetMap graph structure can anchor multimodal representations combining maps, imagery, and language.
- Abstract（参考訳）: 衛星画像は視覚形態を捉え、テキストは人間の解釈可能な意味論を伝え、地図構造は都市環境を記述する。
既存の地理空間的コントラスト法は、通常、構造化地図データを用いて、画像テキストまたは画像位置ペアをアライメントする。
グラフアンコントラストフレームワークであるGeoLEON-CLIPを,OpenStreetMap由来のグラフ埋め込み,衛星画像の収集,テキスト記述という,各H3インデックス領域の3つのビューに整列する。
凍結事前訓練されたLEONグラフの埋め込みは、視覚と言語の間のセマンティックアンカーを提供する。
凍結グラフ、画像、テキストエンコーダはトレーニング可能な残留射影ヘッドで接続され、対称三モードのコントラスト目的で訓練される。
実験はグラフ画像とグラフテキストのアライメントを示し、グラフ画像検索は混合分解能プールにおいて最高のクロスモーダル性能を達成する。
アンカーリング仮説を評価するために,連鎖型クロスモーダルリコール$\mathrm{R}@A@B$を提案する。
at $\mathrm{R}@1@1$, image$\rightarrow$graph$\rightarrow$text and text$\rightarrow$graph$\rightarrow$image outperform direct image-text search by 4.8 and 4.4 points, using a single intermediate cell。
ダウンストリーム調査では、Airbnbと北京の住宅で最大の改善点として、タスク依存の伸びを示している。
これらの結果は,OpenStreetMapグラフ構造が,地図,画像,言語を組み合わせたマルチモーダル表現をアンカーできることを示唆している。
関連論文リスト
- CLIP the Landscape: Automated Tagging of Crowdsourced Landscape Images [0.5999777817331317]
ランドスケープ写真から地理的コンテキストタグを予測するためのCLIPベースのマルチモーダルマルチラベル分類器を提案する。
位置埋め込みとタイトル埋め込みを画像特徴と組み合わせることで,画像埋め込みを単独で使用するよりも精度が向上することを示す。
論文 参考訳（メタデータ） (2025-06-13T20:32:58Z) - vS-Graphs: Integrating Visual SLAM and Situational Graphs through Multi-level Scene Understanding [0.0]
本稿では,新しいリアルタイムVSLAMフレームワークであるビジュアルSグラフ(vS-Graphs)を紹介する。
視覚に基づくシーン理解と地図再構成と理解可能なグラフベース表現を統合している。
標準ベンチマークと実世界のデータセットの実験は、vS-Graphsが最先端のVSLAMメソッドより優れていることを示した。
論文 参考訳（メタデータ） (2025-03-03T18:15:11Z) - AddressCLIP: Empowering Vision-Language Models for City-wide Image Address Localization [57.34659640776723]
そこで我々は,より意味論的に問題を解決するために,AddressCLIPというエンドツーエンドのフレームワークを提案する。
われわれはピッツバーグとサンフランシスコに3つのデータセットを構築した。
論文 参考訳（メタデータ） (2024-07-11T03:18:53Z) - ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。
提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。
実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T17:53:30Z) - STAIR: Learning Sparse Text and Image Representation in Grounded Tokens [84.14528645941128]
疎結合なセマンティック表現を構築することは、密度の高いプレゼンテーションと同程度、あるいはそれ以上に強力であることを示す。
CLIPモデルを拡張してスパーステキストと画像表現(STAIR)を構築し、画像とテキストをスパーストークン空間にマッピングする。
CLIPモデルでは、+4.9%$と+4.3%$絶対リコール@1の改善で大幅にパフォーマンスが向上した。
論文 参考訳（メタデータ） (2023-01-30T17:21:30Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳（メタデータ） (2021-09-24T08:01:23Z) - A Deep Local and Global Scene-Graph Matching for Image-Text Retrieval [4.159666152160874]
シーングラフの提示は画像テキストマッチングの課題に適した方法である。
本稿では,最先端の手法を強化するローカル・グローバル・シーングラフマッチング(LGSGM)モデルを提案する。
Flickr30kデータセットのリコールを10%以上増やすことで,レベルの組み合わせによる改善により,ベースライン手法の性能を向上させることができる。
論文 参考訳（メタデータ） (2021-06-04T10:33:14Z) - Using Text to Teach Image Retrieval [47.72498265721957]
ニューラルネットワークを用いて学習した画像の特徴空間をグラフとして表現するために,画像多様体の概念に基づいて構築する。
我々は、幾何学的に整列したテキストで多様体のサンプルを増補し、大量の文を使って画像について教える。
実験結果から, 結合埋め込み多様体は頑健な表現であり, 画像検索を行うためのより良い基礎となることが示唆された。
論文 参考訳（メタデータ） (2020-11-19T16:09:14Z) - Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。
提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。
3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
論文 参考訳（メタデータ） (2020-04-17T11:55:03Z) - Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。
微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
論文 参考訳（メタデータ） (2020-03-01T03:44:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。