論文の概要: DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning
- arxiv url: http://arxiv.org/abs/2606.27410v1
- Date: Thu, 25 Jun 2026 11:49:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.277438
- Title: DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning
- Title（参考訳）: DFM:リモートセンシング画像変化キャプションのためのテキストガイド付きGated Contrastive Lossを用いた差分特徴モデリング
- Abstract要約: リモートセンシング画像変化キャプション(RSICC)のエンコーダは、異なる時刻にキャプチャされたリモートセンシング画像間の変化を自動生成する。
本稿では,1つの自己回帰生成パラダイムを置き換えるための差分特徴モデリング(DFM)フレームワークを提案する。
特に,テキストモダルの観点から重要な特徴を抽出するビジョンを導くために,テキストガイド付きGated Contrastive Loss (TGCL)を導入する。
- 参考スコア（独自算出の注目度）: 30.75534244211688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The primary goal of Remote Sensing Image Change Captioning (RSICC) is to automatically generate descriptions of changes between remote sensing images captured at different time points. Existing models still rely on a single autoregressive generation paradigm, which tends to prioritize learning easily generated vocabulary over capturing discriminative differences between images. To address this, we reframe the training paradigm and propose a novel Difference Feature Modeling (DFM) framework. Specifically, we introduce a Text-guided Gated Contrastive Loss (TGCL) to guide the vision encoder to extract critical features from a text-modal perspective. Additionally, we incorporate a pre-trained Change Detection model to transfer stable change detection knowledge. In order to further enhance the representation, we design a Joint Feature Modeling (JFM) module to achieve the fusion of multi-scale difference representations, thereby capturing comprehensive spatiotemporal variations between multi-temporal images. Extensive experiments on multiple datasets demonstrate the effectiveness of our approach.
- Abstract（参考訳）: リモートセンシング画像変化キャプション(RSICC)の主な目標は、異なる時点にキャプチャされたリモートセンシング画像間の変化を自動生成することである。
既存のモデルは依然として単一の自己回帰生成パラダイムに依存しており、画像間の識別的差異を捉えるよりも、学習が容易に生成される語彙を優先する傾向にある。
これを解決するために、トレーニングパラダイムを再編成し、新しい差分特徴モデリング(DFM)フレームワークを提案する。
具体的には、テキストモダルの観点から重要な特徴を抽出するために、視覚エンコーダを誘導するテキストガイド付きGated Contrastive Loss (TGCL)を導入する。
さらに,安定な変化検出知識を伝達するために,事前学習した変化検出モデルを導入する。
この表現をさらに強化するため,マルチスケール差分表現の融合を実現するために,JFMモジュールを設計し,多時間画像間の時間空間の包括的変動を観測する。
複数のデータセットに対する大規模な実験は、我々のアプローチの有効性を実証している。
関連論文リスト
- LG-CD: Enhancing Language-Guided Change Detection through SAM2 Adaptation [9.324344835427858]
我々はLG-CD(Language-Guided Change Detection Model)を提案する。
このモデルは、自然言語のプロンプトを利用して、ネットワークの関心領域への注意を向ける。
3つのデータセットに対する実験により、LG-CDは最先端の変更検出方法よりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-09-26T05:30:11Z) - Multimodal Feature Fusion Network with Text Difference Enhancement for Remote Sensing Change Detection [36.96267014127019]
MMChangeは画像とテキストのモダリティを組み合わせて精度とロバスト性を高めるマルチモーダルRSCD手法である。
画像特徴のセマンティックな制限を克服するために、視覚言語モデル(VLM)を用いてバイテンポラル画像の意味的記述を生成する。
テキスト差分拡張(TDE)モジュールは細粒度のセマンティックシフトをキャプチャし、モデルを意味のある変化へと導く。
論文 参考訳（メタデータ） (2025-09-04T07:39:18Z) - DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception [0.846600473226587]
本稿では, リモートセンシング画像変化解析(RSICA)を, 変化検出の強みと視覚的質問応答を組み合わせた新しいパラダイムとして導入する。
対話型RSICAに適したエンドツーエンドアーキテクチャであるDeltaVLMを提案する。
DeltaVLMは, 時間差を捉えた微調整バイテンポラルビジョンエンコーダ, 変化を解釈する相互関係測定機構を備えた視覚差分認識モジュール, クエリ関連差分情報を効果的に抽出する命令誘導Q-フォーマの3つのイノベーションを特徴とする。
論文 参考訳（メタデータ） (2025-07-30T03:14:27Z) - ControlThinker: Unveiling Latent Semantics for Controllable Image Generation through Visual Reasoning [76.2503352325492]
ControlThinkerは、"Comprehend-then-generate"パラダイムを採用した、新しいフレームワークである。
制御画像からの潜在セマンティクスは、テキストプロンプトを豊かにするためにマイニングされる。
このリッチなセマンティック理解は、追加の複雑な修正を必要とせずに、画像生成をシームレスに支援する。
論文 参考訳（メタデータ） (2025-06-04T05:56:19Z) - ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。
スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-12T13:28:46Z) - Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection [52.62459671461816]
本稿では,視覚基盤モデルからのセマンティックな先入観を取り入れ,変化を検出する能力の向上について検討する。
人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、意味認識特徴と差認識特徴を組み合わせることで変化を区別するために導出される。
論文 参考訳（メタデータ） (2024-12-22T08:27:15Z) - Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning [49.24306593078429]
KCFI(Key Change Features and Instruction-tuned)によるリモートセンシング画像変換キャプションのための新しいフレームワークを提案する。
KCFIは、バイテンポラルリモートセンシング画像特徴を抽出するViTsエンコーダと、重要な変化領域を識別するキー特徴知覚器と、画素レベルの変化検出デコーダとを含む。
提案手法の有効性を検証するため,LEVIR-CCデータセット上のいくつかの最新の変更キャプション手法との比較を行った。
論文 参考訳（メタデータ） (2024-09-19T09:33:33Z) - FSMR: A Feature Swapping Multi-modal Reasoning Approach with Joint Textual and Visual Clues [20.587249765287183]
Feature Swapping Multi-modal Reasoning (FSMR) モデルは、機能スワップによるマルチモーダル推論を強化するように設計されている。
FSMRにはマルチモーダル・クロスアテンション機構が組み込まれており、テキスト情報と視覚情報の共同モデリングを容易にする。
PMRデータセットの実験は、FSMRが最先端のベースラインモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-03-29T07:28:50Z) - Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。
実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。
そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-21T08:12:28Z) - UniDiff: Advancing Vision-Language Models with Generative and
Discriminative Learning [86.91893533388628]
本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。
UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
論文 参考訳（メタデータ） (2023-06-01T15:39:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。