論文の概要: MGRL-RSCC: Multi-Granularity Reward Reinforcement Learning for Fine-Grained Remote Sensing Change Captioning
- arxiv url: http://arxiv.org/abs/2609.26166v1
- Date: Sun, 09 Aug 2026 11:05:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.894614
- Title: MGRL-RSCC: Multi-Granularity Reward Reinforcement Learning for Fine-Grained Remote Sensing Change Captioning
- Title（参考訳）: MGRL-RSCC:細粒度リモートセンシング変更キャプションのためのマルチグラニュラリティ・リワード強化学習
- Abstract要約: 本稿では,MGRL-R SCCと呼ばれる新しい多粒性報酬強化学習パラダイムを提案する。
まずCNNと階層型自己認識モジュールを利用して、両時間的リモートセンシング画像から視覚的特徴を抽出し、拡張する。
その後、トランスフォーマーデコーダを使用して、視覚から言語への翻訳を完了させる。
- 参考スコア（独自算出の注目度）: 21.507453563336558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote Sensing Change Captioning (RSCC), which aims to generate accurate and detailed linguistic descriptions of ground object variations from bi-temporal remote sensing images, is a critical and challenging task in intelligent remote sensing interpretation. The mainstream autoregressive training paradigm faces severe exposure bias and train-test distribution mismatch, resulting in cumulative generation errors. They tend to produce conservative and template-fixed captions while ignoring subtle scene change details. To address these challenges, this paper proposes a novel multi-granularity reward reinforcement learning paradigm, termed MGRL-RSCC. Specifically, we first leverage a CNN and hierarchical self-attention module to extract and enhance visual features from bi-temporal remote sensing images. A Transformer decoder is then utilized to complete visual-to-linguistic translation. Different from existing methods, we design a dual-decoding strategy and a two-stage joint optimization scheme, which combines token-level supervised learning via greedy decoding and multi-granularity reward-driven self-critical reinforcement learning via sampling decoding. We further construct three complementary reward functions covering linguistic fluency, change state consistency, and structural-semantic relevance to comprehensively optimize caption quality and alleviate false and missing change descriptions. Extensive experiments on multiple public RSCC benchmark datasets demonstrate that the proposed MGRL-RSCC effectively mitigates exposure bias and conservative generation problems in traditional autoregressive methods. The source code and pre-trained models will be released on https://github.com/Event-AHU/MGRL-RSCC
- Abstract（参考訳）: リモートセンシング変化キャプション(RSCC, Remote Sensing Change Captioning)は, 知的リモートセンシングにおける重要な課題である。
主流の自己回帰訓練パラダイムは、露出バイアスと列車-テストの分布ミスマッチに直面するため、累積生成エラーが発生する。
微妙なシーン変更の詳細を無視しながら、保守的でテンプレートで固定されたキャプションを生成する傾向がある。
これらの課題に対処するために,MGRL-RSCCと呼ばれる新しい多粒性報酬強化学習パラダイムを提案する。
具体的には、まずCNNと階層型自己認識モジュールを利用して、両時間的リモートセンシング画像から視覚的特徴を抽出し、拡張する。
その後、トランスフォーマーデコーダを使用して、視覚から言語への翻訳を完了させる。
既存の手法とは違って,2段階共同最適化方式を設計し,グレディ復号によるトークンレベルの教師あり学習と,サンプリング復号による多粒度報酬駆動型自己クリティカル強化学習を組み合わせた。
さらに,言語流布,変化状態の整合性,構造意味の関連性を含む3つの補完的な報酬関数を構築し,キャプションの品質を包括的に最適化し,誤りや欠落した変更記述を緩和する。
複数の公開RSCCベンチマークデータセットに対する大規模な実験により、提案されたMGRL-RSCCは、従来の自己回帰法における露光バイアスと保守的な生成問題を効果的に軽減することを示した。
ソースコードと事前訓練されたモデルはhttps://github.com/Event-AHU/MGRL-RSCCで公開される。
関連論文リスト
- DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning [30.75534244211688]
リモートセンシング画像変化キャプション(RSICC)のエンコーダは、異なる時刻にキャプチャされたリモートセンシング画像間の変化を自動生成する。
本稿では,1つの自己回帰生成パラダイムを置き換えるための差分特徴モデリング(DFM)フレームワークを提案する。
特に,テキストモダルの観点から重要な特徴を抽出するビジョンを導くために,テキストガイド付きGated Contrastive Loss (TGCL)を導入する。
論文 参考訳（メタデータ） (2026-06-25T11:49:21Z) - [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。
パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。
実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
論文 参考訳（メタデータ） (2026-05-25T13:19:12Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳（メタデータ） (2026-03-02T11:38:12Z) - ViLaCD-R1: A Vision-Language Framework for Semantic Change Detection in Remote Sensing [5.966253859501895]
ViLaCD-R1はMulti-Image Reasoner (MIR)とMask-Guided Decoder (MGD)からなる2段階のフレームワークである。
我々は,ViLaCD-R1が真の意味変化認識と局所化を大幅に改善し,非意味的変動を頑健に抑制し,複雑な実世界のシナリオにおいて不正確な精度を実現することを示す。
論文 参考訳（メタデータ） (2025-12-29T06:58:46Z) - Unified Multimodal Model as Auto-Encoder [69.38946823657592]
本稿では,テキストに画像を圧縮するエンコーダ(I2T)と,そのテキストから画像を再構成するデコーダ(T2I)の理解に関するパラダイムを紹介する。
我々の経験的結果は、理解は生成を大幅に促進し(GenEvalで検証されている)、生成は、特にきめ細かい視覚知覚を強化することを示唆している。
論文 参考訳（メタデータ） (2025-09-11T17:57:59Z) - MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。
4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
論文 参考訳（メタデータ） (2025-08-03T02:50:08Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z) - S2C: Learning Noise-Resistant Differences for Unsupervised Change Detection in Multimodal Remote Sensing Images [24.75086641416994]
マルチモーダルリモートセンシング(RS)画像における非時間変化検出(UCD)は難しい課題である。
近年のVisual Foundation Models(VFM)とContrastive Learning(CL)方法論の進歩に触発されて,表現中の暗黙的な知識を変化に翻訳するCL方法論の開発を目指す。
論文 参考訳（メタデータ） (2025-02-18T07:34:54Z) - Semantic-CC: Boosting Remote Sensing Image Change Captioning via Foundational Knowledge and Semantic Guidance [19.663899648983417]
本稿では,基礎知識と意味指導に基づく新しい変更キャプション(CC)手法を提案する。
提案手法を LEVIR-CC および LEVIR-CD データセット上で検証する。
論文 参考訳（メタデータ） (2024-07-19T05:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。