論文の概要: Knowledge-infused Contrastive Learning for Urban Imagery-based Socioeconomic Prediction

• arxiv url: http://arxiv.org/abs/2302.13094v1
• Date: Sat, 25 Feb 2023 14:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 18:58:32.348546
• Title: Knowledge-infused Contrastive Learning for Urban Imagery-based Socioeconomic Prediction
• Title（参考訳）: 都市画像に基づく社会経済予測のための知識注入型コントラスト学習
• Authors: Yu Liu, Xin Zhang, Jingtao Ding, Yanxin Xi, Yong Li
• Abstract要約: 衛星・ストリートビュー画像のようなウェブ上の都市画像は、社会経済予測の重要な情報源として現れてきた。 本稿では,都市イメージに基づく社会経済予測のための知識注入型コントラスト学習モデルを提案する。 提案手法は,衛星画像と路面画像の両方に適用可能である。
• 参考スコア（独自算出の注目度）: 13.26632316765164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monitoring sustainable development goals requires accurate and timely socioeconomic statistics, while ubiquitous and frequently-updated urban imagery in web like satellite/street view images has emerged as an important source for socioeconomic prediction. Especially, recent studies turn to self-supervised contrastive learning with manually designed similarity metrics for urban imagery representation learning and further socioeconomic prediction, which however suffers from effectiveness and robustness issues. To address such issues, in this paper, we propose a Knowledge-infused Contrastive Learning (KnowCL) model for urban imagery-based socioeconomic prediction. Specifically, we firstly introduce knowledge graph (KG) to effectively model the urban knowledge in spatiality, mobility, etc., and then build neural network based encoders to learn representations of an urban image in associated semantic and visual spaces, respectively. Finally, we design a cross-modality based contrastive learning framework with a novel image-KG contrastive loss, which maximizes the mutual information between semantic and visual representations for knowledge infusion. Extensive experiments of applying the learnt visual representations for socioeconomic prediction on three datasets demonstrate the superior performance of KnowCL with over 30\% improvements on $R^2$ compared with baselines. Especially, our proposed KnowCL model can apply to both satellite and street imagery with both effectiveness and transferability achieved, which provides insights into urban imagery-based socioeconomic prediction.
• Abstract（参考訳）: 持続可能な開発目標のモニタリングには正確でタイムリーな社会経済統計が必要であるが、衛星・ストリートビュー画像のようなウェブ上のユビキタスで頻繁に更新される都市画像は社会経済予測の重要な情報源として現れている。 特に,近年の研究では,自己教師付きコントラスト学習と,都市イメージ表現学習のための手作業による類似度指標,さらに社会経済的予測が注目されている。 そこで本稿では,都市画像に基づく社会経済予測のための知識注入型コントラスト学習(KnowCL)モデルを提案する。 具体的には、まず知識グラフ(kg)を導入し、空間性、移動性などの都市知識を効果的にモデル化し、関連する意味空間と視覚空間における都市イメージの表現を学ぶためにニューラルネットワークベースのエンコーダを構築する。 最後に,知識注入のための意味表現と視覚表現の相互情報を最大化する,新しい画像-kgコントラスト損失を用いたクロスモダリティベースのコントラスト学習フレームワークを設計した。 3つのデータセットで社会経済予測に学習視覚表現を適用した大規模な実験は、ベースラインと比較すると$r^2$で30\%以上向上したknowclの優れた性能を示している。 特に,提案したKnowCLモデルは,衛星画像と街路画像の両方に適用可能であり,都市画像に基づく社会経済予測の洞察を提供する。

関連論文リスト

• MuseCL: Predicting Urban Socioeconomic Indicators via Multi-Semantic Contrastive Learning [13.681538916025021]
  MuseCLは、都市部の詳細なプロファイリングと社会経済予測のためのフレームワークである。 ストリートビューとリモートセンシング画像のためのコントラスト的なサンプルペアを構築し,人間の移動性に類似点を生かした。 これらの領域に埋め込まれたPOIテキストから,事前学習したテキストエンコーダを用いて意味的な洞察を抽出する。
  論文  参考訳（メタデータ） (2024-06-23T09:49:41Z)
• Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes [15.842647992041751]
  ポストホックの概念に基づく説明は、ポリシー作成においてこれらのモデルを広く採用するための重要なステップである。 本研究では,社会経済研究におけるタスク固有のコントラスト損失とポストホック概念の説明可能性を用いた表現学習の相互作用について検討した。
  論文  参考訳（メタデータ） (2024-04-15T13:13:56Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• UrbanCLIP: Learning Text-enhanced Urban Region Profiling with Contrastive Language-Image Pretraining from the Web [37.332601383723585]
  本稿では,テキストモダリティの知識を都市画像のプロファイリングに取り入れた最初のフレームワークを紹介する。 オープンソースのImage-to-Text LLMにより,衛星画像毎の詳細なテキスト記述を生成する。 モデルは画像とテキストのペアに基づいて訓練され、都市視覚表現学習のための自然言語の監督をシームレスに統一する。
  論文  参考訳（メタデータ） (2023-10-22T02:32:53Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Mitigating Urban-Rural Disparities in Contrastive Representation Learning with Satellite Imagery [19.93324644519412]
  土地被覆の特徴の特定における都市と農村の格差のリスクを考察する。 本稿では,畳み込みニューラルネットワークモデルの多レベル潜在空間を非バイアス化する手法として,コントラッシブラーニングを用いた高密度表現(FairDCL)を提案する。 得られた画像表現は、下流の都市と農村の予測格差を軽減し、現実の衛星画像の最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-11-16T04:59:46Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Enhancing Social Relation Inference with Concise Interaction Graph and Discriminative Scene Representation [56.25878966006678]
  我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。 人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。 PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
  論文  参考訳（メタデータ） (2021-07-30T04:20:13Z)
• Predicting Livelihood Indicators from Community-Generated Street-Level Imagery [70.5081240396352]
  本稿では,クラウドソースによるストリートレベルの画像から重要な生活指標を予測するための,安価でスケーラブルで解釈可能なアプローチを提案する。 全国的に代表される世帯調査で収集した地上データと比較することにより,貧困,人口,健康の指標を正確に予測する上でのアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-06-15T18:12:12Z)
• Socioeconomic correlations of urban patterns inferred from aerial images: interpreting activation maps of Convolutional Neural Networks [0.10152838128195464]
  都市化は近代社会にとって大きな課題であり、社会経済的不平等を広げつつ経済機会へのより良いアクセスを約束する。 ここでは,フランス全土の社会経済的地位を航空画像から予測し,都市トポロジの観点からクラスの活性化マップを解釈することによって,このギャップを埋める。 これらの結果は解釈可能なモデルを構築するための道を開くもので、都市化とその影響をよりよく追跡し理解するのに役立ちます。
  論文  参考訳（メタデータ） (2020-04-10T04:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。