論文の概要: Spot-the-shift: Evaluating Grounded Image Difference Captioning of Long-term Changes
- arxiv url: http://arxiv.org/abs/2609.10356v1
- Date: Wed, 09 Sep 2026 15:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.087837
- Title: Spot-the-shift: Evaluating Grounded Image Difference Captioning of Long-term Changes
- Title（参考訳）: Spot-the-shift:長期変化の地上画像差分キャプションの評価
- Abstract要約: 同じ場所のイメージからの長期的変化の理解は、マップメンテナンスや都市インフラ監視の応用において難しい課題である。
本研究では,現実世界の運転シーンの長期的変化を示す画像差分キャプションの人間検証ベンチマークであるSPOT-the-SHIFTを紹介する。
本研究では,人間の研究によって検証されたモデルのキャプション能力を確実に評価する評価プロトコルを提案する。
- 参考スコア（独自算出の注目度）: 60.0903155031313
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Long-term change understanding from images of the same place revisited over time is a challenging task with applications in map maintenance and urban infrastructure monitoring. Prior work addresses it either through pixel-level prediction or difference captioning, neither of which is sufficient to reliably measure how well models detect and describe such changes. We introduce SPOT-THE-SHIFT, a human-verified benchmark for grounded image difference captioning of long-term changes in real-world driving scenes. Our benchmark provides natural language captions and spatial masks for structural changes across each image pair. We further propose an evaluation protocol that reliably assesses models' captioning ability, validated through human studies. Benchmarking state-of-the-art MLLMs, we find that models struggle with the fine-grained multi-image spatial capability required for this task. Finally, we develop a synthetic data generation pipeline that improves an off-the-shelf MLLM without sacrificing general capabilities.
- Abstract（参考訳）: 同じ場所のイメージからの長期的変化の理解は、マップメンテナンスや都市インフラ監視の応用において難しい課題である。
以前の作業では、ピクセルレベルの予測や差分キャプションによってそれに対応するが、どちらもモデルがどのように変化を検出して記述するかを確実に測定するには不十分である。
本研究では,現実世界の運転シーンの長期的変化を示す画像差分キャプションの人間検証ベンチマークであるSPOT-the-SHIFTを紹介する。
本ベンチマークでは,各画像間の構造変化に対して,自然言語キャプションと空間マスクを提供する。
また,人間の研究によって検証されたモデルのキャプション能力を確実に評価する評価プロトコルを提案する。
最新のMLLMをベンチマークした結果、モデルが細粒度なマルチイメージ空間能力に苦慮していることが判明した。
最後に,汎用性を犠牲にすることなく,既製のMLLMを改善する合成データ生成パイプラインを開発した。
関連論文リスト
- DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning [30.75534244211688]
リモートセンシング画像変化キャプション(RSICC)のエンコーダは、異なる時刻にキャプチャされたリモートセンシング画像間の変化を自動生成する。
本稿では,1つの自己回帰生成パラダイムを置き換えるための差分特徴モデリング(DFM)フレームワークを提案する。
特に,テキストモダルの観点から重要な特徴を抽出するビジョンを導くために,テキストガイド付きGated Contrastive Loss (TGCL)を導入する。
論文 参考訳（メタデータ） (2026-06-25T11:49:21Z) - UAV as Urban Construction Change Monitor: A New Benchmark and Change Captioning Model [17.995187387417563]
リモートセンシング画像変化キャプション(RSICC)は、両時間画像からシーンの進化に関する空間的基盤を持つ自然言語記述を生成することを目的としている。
現在のメソッドは、構造化された変更セマンティクスを明示的にモデル化することなく、暗黙的な特徴差に頼っている。
共同字幕と検出のためのプロトタイプ誘導フレームワークPTNetを提案する。
論文 参考訳（メタデータ） (2026-05-06T02:04:18Z) - Scene Change Detection with Vision-Language Representation Learning [11.186360973626114]
LangSCDはシーン変化検出のための視覚言語フレームワークで、言語による意味論的推論を取り入れている。
我々は,ニューヨークで収集された8,122個の実世界のイメージペアの大規模データセットであるNYC-CDを紹介した。
論文 参考訳（メタデータ） (2026-04-13T12:43:35Z) - PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions [55.95282725491425]
PoShは、LLMs-as-a-Judgeをガイドするために、シーングラフを構造化ルーリックとして使用する詳細な画像記述のメトリクスである。
PoShはレプリカ可能で、解釈可能で、既存のメトリクスよりも人間のレーダのプロキシが優れている。
我々は,オープンウェイトな選択肢よりも,DOCENTにおける人間の判断とPoShの相関が強いことを示す。
論文 参考訳（メタデータ） (2025-10-21T20:30:20Z) - ControlThinker: Unveiling Latent Semantics for Controllable Image Generation through Visual Reasoning [76.2503352325492]
ControlThinkerは、"Comprehend-then-generate"パラダイムを採用した、新しいフレームワークである。
制御画像からの潜在セマンティクスは、テキストプロンプトを豊かにするためにマイニングされる。
このリッチなセマンティック理解は、追加の複雑な修正を必要とせずに、画像生成をシームレスに支援する。
論文 参考訳（メタデータ） (2025-06-04T05:56:19Z) - Remote Sensing SpatioTemporal Vision-Language Models: A Comprehensive Survey [35.600870905903996]
本稿では,RS-STVLMの総合的なレビューを行う。
本稿では, 変更キャプション, 変更質問, 回答キャプション, 変更グラウンドなど, 代表課題の進捗状況について論じる。
遠隔センシングのための視覚言語理解における現在の成果と将来的な研究の方向性を照らすことを目的としている。
論文 参考訳（メタデータ） (2024-12-03T16:56:10Z) - Locality Alignment Improves Vision-Language Models [55.275235524659905]
近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。
私たちのゴールは、ローカルとグローバルの両方の画像セマンティクスを効果的にキャプチャするビジョンバックボーンでこれを解決することです。
局所性アライメントとMaskEmbedと呼ばれる新しい微調整手順を提案する。
論文 参考訳（メタデータ） (2024-10-14T21:01:01Z) - Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [49.439311430360284]
コントラスト学習と画像差分キャプションにインスパイアされた新しいデータ合成手法を提案する。
私たちのキーとなるアイデアは、マッチングと異なる要素の両方を識別するためにモデルに挑戦することです。
我々は、この生成されたデータセットを利用して、最先端(SOTA)MLLMを微調整する。
論文 参考訳（メタデータ） (2024-08-08T17:10:16Z) - Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation
for Grounding-Based Vision and Language Models [16.4010094165575]
テキスト条件付きおよびテキスト条件付きデータ拡張で訓練されたロバストな句接頭辞モデルを提案する。
近年のマスク信号再構成に着想を得て,新しいデータ拡張形式としてピクセルレベルのマスキングを提案する。
提案手法は,各種メトリクスを用いた最先端技術に対する高度な性能を示す。
論文 参考訳（メタデータ） (2023-11-05T01:14:02Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳（メタデータ） (2021-05-20T20:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。