論文の概要: Learning Neighborhood Representation from Multi-Modal Multi-Graph:
Image, Text, Mobility Graph and Beyond
- arxiv url: http://arxiv.org/abs/2105.02489v1
- Date: Thu, 6 May 2021 07:44:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:36:27.082731
- Title: Learning Neighborhood Representation from Multi-Modal Multi-Graph:
Image, Text, Mobility Graph and Beyond
- Title（参考訳）: マルチモーダル・マルチグラフによる近所表現の学習:画像,テキスト,モビリティグラフなど
- Authors: Tianyuan Huang, Zhecheng Wang, Hao Sheng, Andrew Y. Ng, Ram Rajagopal
- Abstract要約: 本稿では,マルチモーダルジオタグ入力をノードまたはエッジの特徴として統合する新しい手法を提案する。
具体的には、ストリートビュー画像とpoi特徴を用いて、近傍(ノード)を特徴付け、人間移動を用いて近隣(方向エッジ)間の関係を特徴付ける。
トレーニングした埋め込みは、ユニモーダルデータのみを地域入力として使用するものよりも優れています。
- 参考スコア（独自算出の注目度）: 20.014906526266795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent urbanization has coincided with the enrichment of geotagged data, such
as street view and point-of-interest (POI). Region embedding enhanced by the
richer data modalities has enabled researchers and city administrators to
understand the built environment, socioeconomics, and the dynamics of cities
better. While some efforts have been made to simultaneously use multi-modal
inputs, existing methods can be improved by incorporating different measures of
'proximity' in the same embedding space - leveraging not only the data that
characterizes the regions (e.g., street view, local businesses pattern) but
also those that depict the relationship between regions (e.g., trips, road
network). To this end, we propose a novel approach to integrate multi-modal
geotagged inputs as either node or edge features of a multi-graph based on
their relations with the neighborhood region (e.g., tiles, census block, ZIP
code region, etc.). We then learn the neighborhood representation based on a
contrastive-sampling scheme from the multi-graph. Specifically, we use street
view images and POI features to characterize neighborhoods (nodes) and use
human mobility to characterize the relationship between neighborhoods (directed
edges). We show the effectiveness of the proposed methods with quantitative
downstream tasks as well as qualitative analysis of the embedding space: The
embedding we trained outperforms the ones using only unimodal data as regional
inputs.
- Abstract（参考訳）: 近年の都市化は、ストリートビューやPOI(point-of-interest)といったジオタグ付きデータの充実と一致している。
より豊かなデータモダリティによって強化された地域埋め込みにより、研究者や都市管理者は、構築された環境、社会経済、都市のダイナミクスをよりよく理解できるようになった。
マルチモーダル入力を同時に使用する取り組みも行われているが、同じ埋め込み空間に異なる「公理性」の尺度を組み込むことで、既存の方法を改善することができる - 地域を特徴付けるデータ(ストリートビュー、地元のビジネスパターンなど)だけでなく、地域間の関係(トリップ、ロードネットワークなど)を描写するデータを活用する。
そこで本研究では,周辺地域(タイル,国勢調査ブロック,ZIPコード領域など)との関係に基づき,マルチモーダルジオタグ入力をマルチグラフのノードやエッジの特徴として統合する手法を提案する。
次に,マルチグラフからコントラストサンプリングスキームに基づいて近傍表現を学習する。
具体的には、ストリートビュー画像とpoi特徴を用いて、近傍(ノード)を特徴付け、人間移動を用いて近隣(方向エッジ)間の関係を特徴付ける。
提案手法の有効性を示すとともに, 埋め込み空間の質的分析を行い, 単調データのみを地域入力として用いる手法よりも, 学習した埋め込みが優れていることを示した。
関連論文リスト
- Multimodal Contrastive Learning of Urban Space Representations from POI Data [2.695321027513952]
CaLLiPer (Contrastive Language-Location Pre-training) は連続的な都市空間をベクトル表現に埋め込む表現学習モデルである。
ロンドンにおける都市空間表現の学習に適用し,CaLLiPerの有効性を検証する。
論文 参考訳（メタデータ） (2024-11-09T16:24:07Z) - Enhanced Urban Region Profiling with Adversarial Contrastive Learning [7.62909500335772]
EUPACは、都市部埋め込みの堅牢性を高める新しいフレームワークである。
本モデルでは,領域内および領域間依存関係を保存する領域埋め込みを生成する。
実世界のデータセットの実験は、最先端の手法よりもモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2024-02-02T06:06:45Z) - Attentive Graph Enhanced Region Representation Learning [7.4106801792345705]
都市部を正確にかつ包括的に表現することは,様々な都市計画・分析業務に不可欠である。
本研究では,複数のグラフから包括的依存関係を抽出し,都市域のリッチな意味表現を学習することを目的としたAttentive Graph Enhanced Region Representation Learning (ATGRL)モデルを提案する。
論文 参考訳（メタデータ） (2023-07-06T16:38:43Z) - Multi-Temporal Relationship Inference in Urban Areas [75.86026742632528]
場所間の時間的関係を見つけることは、動的なオフライン広告やスマートな公共交通計画など、多くの都市アプリケーションに役立つ。
空間的に進化するグラフニューラルネットワーク(SEENet)を含むグラフ学習方式によるTrialの解を提案する。
SEConvは時間内アグリゲーションと時間間伝搬を実行し、位置メッセージパッシングの観点から、多面的に空間的に進化するコンテキストをキャプチャする。
SE-SSLは、位置表現学習を強化し、関係の空間性をさらに扱えるように、グローバルな方法でタイムアウェアな自己教師型学習タスクを設計する。
論文 参考訳（メタデータ） (2023-06-15T07:48:32Z) - R-MAE: Regions Meet Masked Autoencoders [113.73147144125385]
我々は、自己教師付き画像表現学習のための単語の潜在的な視覚的類似として領域を探索する。
生成前トレーニングベースラインであるMasked Autoencoding (MAE) に触発されて, 画素群や領域群から学習するためのマスク付き領域オートエンコーディングを提案する。
論文 参考訳（メタデータ） (2023-06-08T17:56:46Z) - Urban Region Profiling via A Multi-Graph Representation Learning
Framework [0.0]
本研究では,都市域のプロファイリングのための多グラフ代表学習フレームワークであるRerea2Vecを提案する。
実世界のデータセットの実験によると、Rerea2Vecは3つのアプリケーションで使用でき、最先端のベースラインをすべて上回っている。
論文 参考訳（メタデータ） (2022-02-04T11:05:37Z) - Methodological Foundation of a Numerical Taxonomy of Urban Form [62.997667081978825]
本稿では, 生物系統学から得られた都市形態の数値分類法を提案する。
我々は同質の都市組織タイプを導出し、それら間の全体形態的類似性を決定することにより、都市形態の階層的分類を生成する。
フレーミングとプレゼンを行った後、プラハとアムステルダムの2都市でテストを行った。
論文 参考訳（メタデータ） (2021-04-30T12:47:52Z) - Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization [54.00111565818903]
クロスビューなジオローカライゼーションは、異なるプラットフォームから同じ地理的ターゲットの画像を見つけることである。
既存の手法は通常、画像センター内の地理的ターゲットの微細な特徴をマイニングすることに集中している。
我々は、文脈情報を活用するために、ローカルパターンネットワーク(LPN)と呼ばれるシンプルで効果的なディープニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-08-26T16:06:11Z) - Cross-Domain Facial Expression Recognition: A Unified Evaluation
Benchmark and Adversarial Graph Learning [85.6386289476598]
我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。
我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-03T15:00:31Z) - Adversarial Graph Representation Adaptation for Cross-Domain Facial
Expression Recognition [86.25926461936412]
本稿では,グラフ表現の伝播と逆学習を両立させる新しいAdrialversa Graph Representation Adaptation (AGRA) フレームワークを提案する。
提案するAGRAフレームワークは,従来の最先端手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2020-08-03T13:27:24Z) - Urban2Vec: Incorporating Street View Imagery and POIs for Multi-Modal
Urban Neighborhood Embedding [8.396746290518102]
Urban2Vecは、ストリートビューイメージと関心のポイントデータの両方を組み込んだ、教師なしマルチモーダルフレームワークである。
我々は,Urban2Vecがベースラインモデルよりも優れた性能を実現し,下流予測タスクにおける完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2020-01-29T21:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。