論文の概要: DS-BiCA-Net: Pair-Preserving Cross-Temporal Modeling for Remote Sensing Change Captioning
- arxiv url: http://arxiv.org/abs/2610.32200v1
- Date: Fri, 23 Oct 2026 05:53:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.400232
- Title: DS-BiCA-Net: Pair-Preserving Cross-Temporal Modeling for Remote Sensing Change Captioning
- Title(参考訳): DS-BiCA-Net:リモートセンシング変更キャプションのためのペア保存型クロステンポラリモデリング
- Abstract要約: リモートセンシング画像変化キャプション(RSICC)は、異なる時間に撮影された同じシーンの2つの画像間の意味的変化を自然言語で記述する。
以前の方法では、繰り返し処理中にペアをマージしたり、1つの操作で画像内と画像間の関係を結合したりするのが一般的であった。
本稿では,2種類の処理を分離モジュールに割り当て,エンコーダ全体を通して2つのイメージを分離ストリームとして保持するDS-BiCA-Netを提案する。
- 参考スコア(独自算出の注目度): 44.00535468968034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remote sensing image change captioning (RSICC) describes in natural language the semantic changes between two images of the same scene captured at different times. Previous methods commonly merge the pair during repeated processing or combine intra-image and cross-image relations in one operation, weakening source identity and leaving the two temporal directions implicit. Without separate modules for intra-image and cross-temporal processing and a separate path for each direction, the contribution of each part cannot be measured on its own, so it remains unclear which part matters most, and the design of later models has no such evidence to build on. To address these issues, we propose DS-BiCA-Net, which assigns the two kinds of processing to separate modules and keeps the two images as separate streams throughout the encoder. A windowed state-space module models context within each image, and a bidirectional cross-attention module compares the two images along two directed paths that share their projections. The two modules use the same pre-normalisation residual architecture and differ only in their mixers, and the two streams are fused only in the aggregation head, so each module and each direction can be removed and its contribution measured on its own. Controlled experiments on LEVIR-CC and Dubai-CC examine operator interaction, temporal direction and module order, showing that intra-image refinement carries no benefit alone and becomes beneficial only when followed by bidirectional cross-attention, an order that outperforms the reverse at matched parameter count and FLOPs. The bidirectional module also outperforms either temporal direction alone. Our method reaches an S_m^* of 82.65 on LEVIR-CC, the highest among the published results compared, and 66.72 on Dubai-CC without geometric augmentation, the second-highest among the published results compared.
- Abstract(参考訳): リモートセンシング画像変化キャプション(RSICC)は、異なる時間に撮影された同じシーンの2つの画像間の意味的変化を自然言語で記述する。
以前の方法では、繰り返し処理中にペアをマージしたり、1つの操作で画像内と画像間の関係を結合したり、ソースのアイデンティティを弱め、2つの時間方向を暗黙的に残したりすることが一般的であった。
画像内および時間内処理のための別個のモジュールと各方向の別々の経路がなければ、各部分の寄与は単独では測定できないため、どの部分が最も重要かは不明であり、後続のモデルの設計にはそのような証拠がない。
これらの問題に対処するため,DS-BiCA-Netを提案する。
ウィンドウ化された状態空間モジュールは、各画像内のコンテキストをモデル化し、双方向のクロスアテンションモジュールは、プロジェクションを共有する2つの方向のパスに沿って2つの画像を比較する。
2つのモジュールは同じプレ正規化残差アーキテクチャを使用し、ミキサーでのみ異なるため、2つのストリームはアグリゲーションヘッドでのみ融合されるため、各モジュールと各方向を除去し、そのコントリビューションを単独で測定することができる。
LEVIR-CCとDubai-CCの制御された実験は、操作者間の相互作用、時間方向、モジュール順を検証し、画像内精細化が利益のみを伴わず、双方向の相互注意(一致したパラメータ数とFLOPで逆を上回る順序)が続く場合にのみ有益となることを示した。
双方向モジュールは、時間方向のみよりも優れている。
LEVIR-CCではS_m^*, LEVIR-CCでは82.65, ドバイ-CCでは66.72, 幾何学的拡張では66.72であった。
関連論文リスト
- Bridging Modalities and Tasks: A Unified Hierarchical ViT for SAR-to-Optical Translation and Semantic Segmentation [6.274164868115626]
合成開口レーダ(SAR)画像は、全天候、昼夜の観測能力を有する。
SAR-to-optical (S2O)変換のための生成モデルは視覚的解釈性を改善することができるが、既存の手法は意味構造に関する制約を無視することが多い。
我々は,S2O画像の翻訳とセマンティックセグメンテーションを協調的に最適化する,BMT (Bridging Modalities and Tasks) と呼ばれる統合協調型デュアルタスク学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-04T04:50:19Z) - HiSem: Hierarchical Semantic Disentangling for Remote Sensing Image Change Captioning [30.51174005122181]
リモートセンシング画像変化キャプション(RSICC)は、両時間画像間の真の変化の高レベルなセマンティック理解を実現することを目的としている。
既存の手法は、共有モデリングの前提によって根本的に制限されている。
本稿では,異なる粒度のセマンティック表現を明示的に切り離す階層型セマンティックディスタングルネットワーク(HiSem)を提案する。
論文 参考訳(メタデータ) (2026-05-14T16:23:16Z) - One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models [65.96186414865747]
テキスト・ツー・イメージ(T2I)拡散モデルは、推論速度と画質のトレードオフに直面している。
学生モデルUNetアーキテクチャのための最初の時間非依存の統一TiUEを紹介する。
ワンパススキームを使用して、TiUEは複数のデコーダタイムステップにまたがるエンコーダ機能を共有し、並列サンプリングを可能にする。
論文 参考訳(メタデータ) (2025-05-28T04:23:22Z) - Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion [53.60977801655896]
高品質なマルチモーダル画像融合を実現するためには,高精度なマルチモーダル画像ペアの取得が不可欠である。
我々は、新しい自己教師型 textbfBi-directional textbfSelf-textbfRegistration framework (textbfB-SR) を提案する。
論文 参考訳(メタデータ) (2025-05-11T09:36:25Z) - ReSTR: Convolution-free Referring Image Segmentation Using Transformers [80.9672131755143]
本稿では,ReSTRと呼ばれる変換器を用いた画像セグメンテーションのための最初の畳み込みフリーモデルを提案する。
変換器エンコーダを通じて両方のモダリティの特徴を抽出するため、ReSTRは各モダリティ内のエンティティ間の長距離依存関係をキャプチャすることができる。
また、ReSTRは自己アテンションエンコーダによって2つのモードの特徴を融合させ、融合過程における2つのモード間のフレキシブルで適応的な相互作用を可能にする。
論文 参考訳(メタデータ) (2022-03-31T02:55:39Z) - Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。
特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。
クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
論文 参考訳(メタデータ) (2021-11-26T03:57:46Z) - Layout-to-Image Translation with Double Pooling Generative Adversarial
Networks [76.83075646527521]
入力レイアウトからフォトリアリスティックでセマンティックに一貫性のある結果を生成するための新しいDouble Pooing GAN(DPGAN)を提案する。
また,角形プールモジュール (SPM) と矩形プールモジュール (RPM) からなる新しい二重プールモジュール (DPM) を提案する。
論文 参考訳(メタデータ) (2021-08-29T19:55:14Z) - Dual Attention GANs for Semantic Image Synthesis [101.36015877815537]
本稿では,写真リアリスティック・セマンティック・一貫性のあるイメージを合成するための新しいデュアルアテンションGAN(DAGAN)を提案する。
また,2つの新しいモジュール,すなわち位置対応空間アテンションモジュール(SAM)と規模対応チャネルアテンションモジュール(CAM)を提案する。
DAGANは、より少ないモデルパラメータを使用しながら、最先端のメソッドよりも驚くほど優れた結果が得られる。
論文 参考訳(メタデータ) (2020-08-29T17:49:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。