論文の概要: Scene Change Detection with Vision-Language Representation Learning

• arxiv url: http://arxiv.org/abs/2604.11402v1
• Date: Mon, 13 Apr 2026 12:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.537571
• Title: Scene Change Detection with Vision-Language Representation Learning
• Title（参考訳）: 視覚言語表現学習によるシーン変化検出
• Authors: Diwei Sheng, Vijayraj Gohil, Satyam Gaba, Zihan Liu, Giles Hamilton-Fletcher, John-Ross Rizzo, Yongqing Liang, Chen Feng,
• Abstract要約: LangSCDはシーン変化検出のための視覚言語フレームワークで、言語による意味論的推論を取り入れている。 我々は,ニューヨークで収集された8,122個の実世界のイメージペアの大規模データセットであるNYC-CDを紹介した。
• 参考スコア（独自算出の注目度）: 11.186360973626114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene change detection (SCD) is crucial for urban monitoring and navigation but remains challenging in real-world environments due to lighting variations, seasonal shifts, viewpoint differences, and complex urban layouts. Existing methods rely primarily on low-level visual features, limiting their ability to accurately identify changed objects amid the visual complexity of urban scenes. In this paper, we propose LangSCD, a vision-language framework for scene change detection that overcomes this single-modal limitation by incorporating semantic reasoning through language. Our approach introduces a modular language component that leverages vision-language models (VLMs) to generate textual descriptions of scene changes, which are fused with visual features through a cross-modal feature enhancer. We further introduce a geometric-semantic matching module that refines the predicted masks by enforcing semantic consistency and spatial completeness. Existing real-world scene change detection benchmarks provide only binary change annotations, which are insufficient for downstream applications requiring fine-grained understanding of scene dynamics. To address this limitation, we introduce NYC-CD, a large-scale dataset of 8,122 real-world image pairs collected in New York City with multiclass change annotations generated through a semi-automatic pipeline. Extensive experiments across multiple street-view benchmarks demonstrate that our language and matching modules consistently improve existing change-detection architectures, achieving state-of-the-art performance and highlighting the value of integrating linguistic reasoning with visual representations for robust scene change detection.
• Abstract（参考訳）: 景観変化検出(SCD)は都市モニタリングやナビゲーションには不可欠であるが、照明の変動、季節変化、視点の違い、複雑な都市レイアウトなどにより、現実の環境では依然として困難である。 既存の手法は主に低レベルの視覚的特徴に依存しており、都市景観の視覚的複雑さの中で、変化した物体を正確に識別する能力を制限する。 本稿では,シーン変化検出のための視覚言語フレームワークであるLangSCDを提案する。 提案手法では,視覚言語モデル(VLM)を活用して視覚的特徴と融合したシーン変化のテキスト記述を生成するモジュール言語コンポーネントを提案する。 さらに,意味的整合性と空間的完全性を強制することにより,予測マスクを改良する幾何学的意味マッチングモジュールを導入する。 既存の実世界のシーン変更検出ベンチマークではバイナリな変更アノテーションしか提供されていない。 この制限に対処するために、ニューヨークで収集された8,122の現実世界の画像ペアからなる大規模なデータセットであるNYC-CDを紹介します。 複数のストリートビューベンチマークによる大規模な実験により、我々の言語とマッチングモジュールは、既存の変更検出アーキテクチャを一貫して改善し、最先端のパフォーマンスを実現し、堅牢なシーン変更検出のための視覚的表現と言語推論を統合する価値を強調している。

関連論文リスト

• VLHSA: Vision-Language Hierarchical Semantic Alignment for Jigsaw Puzzle Solving with Eroded Gaps [3.6380495892295173]
  本稿では,テキストコンテキストを利用した視覚言語フレームワークを提案し,パズルの組立性能を向上させる。 我々のアプローチは、VLHSA(Vision-Language Hierarchical Semantic Alignment)モジュールを中心にしている。 本研究は,マルチモーダルな意味的洞察を取り入れたジグソーパズル解法の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-09-17T20:40:52Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Linguistics-aware Masked Image Modeling for Self-supervised Scene Text Recognition [50.86415025650168]
  マスク付き画像モデリング(MIM)は、局所的な構造を利用して視覚パターンを再構築する傾向があり、言語知識は限られている。 本稿では,言語情報とMIMの復号過程を別ブランチで関連づける,言語学対応の仮面画像モデリング(LMIM)手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T14:53:35Z)
• OSCaR: Object State Captioning and State Change Representation [52.13461424520107]
  本稿では,OSCaR(Object State Captioning and State Change Representation)データセットとベンチマークを紹介する。 OSCaRは14,084の注釈付きビデオセグメントで構成され、様々なエゴセントリックなビデオコレクションから1,000近いユニークなオブジェクトが集められている。 マルチモーダル大言語モデル(MLLM)を評価するための新しいテストベッドを設定する。
  論文  参考訳（メタデータ） (2024-02-27T01:48:19Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。