論文の概要: HIMEC: Directional Change Representation and Fixed-Interface Decoding for Remote Sensing Image Change Captioning
- arxiv url: http://arxiv.org/abs/2608.12502v1
- Date: Wed, 12 Aug 2026 18:29:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.302469
- Title: HIMEC: Directional Change Representation and Fixed-Interface Decoding for Remote Sensing Image Change Captioning
- Title(参考訳): HIMEC:リモートセンシング画像変化キャプションのための方向変化表現と固定面デコード
- Abstract要約: リモートセンシング画像変化キャプション(RSICC)は、バイテンポラルイメージを意味的変化を記述する文に変換する。
ほとんどのRSICC法では、コンディションデコーダは融合した視覚的特徴に直接依存しており、中間的な変化構造とデコーダとインタフェースの整合性は研究されていない。
本稿では,方向変化表現(Directional Change Representation, DCR)と固定インターフェースデコーディングを組み合わせたHIMECを提案する。
- 参考スコア(独自算出の注目度): 7.865350186809472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing image change captioning (RSICC) converts bitemporal imagery into a sentence describing semantic changes. Most RSICC methods condition caption decoders directly on fused visual features, leaving intermediate change structure and decoder-interface consistency less studied. We present HIMEC, combining Directional Change Representation (DCR) with fixed-interface decoding. DCR separates signed differences into appearance-oriented, disappearance-oriented, and shared-context streams before fusion. A learned-query encoder converts the fused representation into visually conditioned change-query tokens that form the scene decoder's only sample-dependent memory. A training-only auxiliary phrase decoder supplies caption-derived supervision. With a fixed zero input, the scene decoder maintains the same interface during training and inference. Separately, we evaluate a local-to-scene cascade conditioned on teacher-forced local states during training and autoregressive states at inference. On changed LEVIR-CC validation pairs, these states have a mean cosine distance of 0.69. Regime-matched conditioning recovers most of the associated deficit, whereas permuting state correspondence causes no detectable penalty. These findings are limited to the evaluated cascade. In a matched three-seed comparison, HIMEC reaches a Consensus-based Image Description Evaluation (CIDEr) score of $142.81\pm0.60$ on LEVIR-CC, versus $139.51\pm3.40$ for direct fused-feature memory. On SECOND-CC, fixed-zero and regime-matched diagnostic conditioning reach 75.67 and 76.99 CIDEr, respectively, versus 60.77 for the mismatched cascade. The source code will be made publicly available at https://github.com/ayshaashra/HIMEC upon publication.
- Abstract(参考訳): リモートセンシング画像変化キャプション(RSICC)は、バイテンポラルイメージを意味的変化を記述する文に変換する。
ほとんどのRSICC法では、コンディションデコーダは融合した視覚的特徴に直接依存しており、中間的な変化構造とデコーダとインタフェースの整合性は研究されていない。
本稿では,方向変化表現(Directional Change Representation, DCR)と固定インターフェースデコーディングを組み合わせたHIMECを提案する。
DCRは、符号付き差分を、融合前に外見指向、消滅指向、共有コンテキストストリームに分離する。
学習クエリエンコーダは、融合表現を視覚的に条件付けられた変更クエリトークンに変換し、シーンデコーダの唯一のサンプル依存メモリを形成する。
訓練専用補助フレーズデコーダは、キャプション由来の監督を提供する。
固定ゼロ入力では、シーンデコーダはトレーニングと推論中に同じインターフェイスを保持する。
本研究は,教師が指導する地域と自己回帰状態の推論において,教師が指導する地域を条件としたローカル・ツー・シーンのカスケードの評価を行う。
変更されたLEVIR-CC検証ペアでは、これらの状態の平均コサイン距離は0.69である。
レジーム整合条件付けは関連する障害の大部分を回復させるが、置換状態対応は検出可能なペナルティを生じない。
これらの所見は評価されたカスケードに限られる。
一致した3シード比較では、HIMECはコンセンサスベースの画像記述評価(CIDEr)スコアが142.81\pm0.60ドル、直接融合メモリは139.51\pm3.40ドルに達する。
SECOND-CCでは、固定ゼロと整合診断条件はそれぞれ75.67CIDErと76.99CIDErに達し、不整合カスケードは60.77である。
ソースコードは公開後、https://github.com/ayshaashra/HIMECで公開される。
関連論文リスト
- LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳(メタデータ) (2026-08-27T17:26:24Z) - SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness [4.774658730084455]
本研究では,凍結した視覚エンコーダのパッチトークンを用いて,完全に生成されたビデオと部分的に編集されたビデオの両方を検出するトレーニングフリー検出器を提案する。
SPLITは2段階テンポラルラフネス(TTR)と局所空間運動インコヒーレンス(LSMI)の2つの補完信号を計算する
固定FPRにおけるフェイクリコールに基づくサービス整合性評価プロトコルを提案する。
論文 参考訳(メタデータ) (2026-07-03T02:34:50Z) - Continuous Language Diffusion as a Decoder-Interface Problem [9.603960937964183]
連続拡散言語モデルはガウス崩壊文の埋め込みから流動的なテキストを生成することができる。
組込み言語フロー(ELF)を用いてこのパズルを学習し,デコーダベース機構を同定する。
本稿では,難読性,セマンティックリカバリ性,順序感度,デコーダの互換性,トラジェクトリ信頼性の診断プロトコルを提案する。
論文 参考訳(メタデータ) (2026-06-07T20:00:33Z) - STDec: Spatio-Temporal Stability Guided Decoding for dLLMs [49.55447757907809]
大規模拡散言語モデル(dLLM)は、自己回帰パラダイムに代わる有望な選択肢と見なされ、急速な進歩を遂げている。
ほとんどのdLLMデコーダは依然としてグローバルな信頼しきい値を採用しており、近隣のデコード状態や予測トークンIDの時間的一貫性からローカルコンテキストをモデル化していない。
我々は,dLLMデコーディングにおいて時間的安定性に近い強い安定性を観察し,そのアプローチには空間的認識復号と時間的認識復号が含まれる。
論文 参考訳(メタデータ) (2026-04-07T18:13:31Z) - Imagine How To Change: Explicit Procedure Modeling for Change Captioning [18.938737195128347]
既存の方法は静的なイメージペアで動作し、変更手順の豊富な時間的ダイナミクスを無視している。
本稿では,静的画像比較から動的プロシージャモデリングへの変更モデリングを再構成する新しいフレームワークProCapを紹介する。
論文 参考訳(メタデータ) (2026-03-06T07:05:39Z) - Pixel-Level Change Detection Pseudo-Label Learning for Remote Sensing Change Captioning [28.3763053922823]
リモートセンシング画像変化キャプション(RSICC)の手法は、単純なシーンではうまく機能するが、複雑なシーンでは性能が劣る。
画素レベルのCDは言語による画像の違いを説明する上で重要であると我々は信じている。
提案手法は最先端の性能を達成し,学習用画素レベルのCD擬似ラベルがキャプションの変更に大きく貢献することを示す。
論文 参考訳(メタデータ) (2023-12-23T17:58:48Z) - Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots [65.302728042116]
意味的アノテーションがない場合の視覚知覚における物体の出現について検討する。
得られたモデルは、監督を受けておらず、事前訓練された特徴を一切使用していないが、画像の領域を複数の移動領域に分割することができる。
結果として得られる動き分節法は、未知のさまざまなオブジェクトをリアルタイムで処理することができる。
論文 参考訳(メタデータ) (2023-04-04T00:26:13Z) - Contrastive Semantic Similarity Learning for Image Captioning Evaluation
with Intrinsic Auto-encoder [52.42057181754076]
自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。
文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。
実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
論文 参考訳(メタデータ) (2021-06-29T12:27:05Z) - Intermediate Loss Regularization for CTC-based Speech Recognition [58.33721897180646]
本稿では,コネクショニスト時間分類(CTC)の目的に基づいて,自動音声認識(ASR)のための簡易かつ効率的な補助的損失関数を提案する。
提案手法は,WSJコーパスの単語誤り率(WER)9.9%,AISHELL-1コーパスの文字誤り率(CER)5.2%である。
論文 参考訳(メタデータ) (2021-02-05T15:01:03Z) - Masked Contrastive Representation Learning for Reinforcement Learning [202.8261654227565]
コントラスト学習を用いて個々のビデオフレームの原画素から高次特徴を抽出するCURLは,効率的なアルゴリズムである。
本稿では,連続した入力間の相関を考慮に入れたRLのための新しいアルゴリズム,マスク付きコントラスト表現学習を提案する。
DMControlスイートの16ドル環境中14ドル,Atari 2600 Gamesの26ドル環境中21ドル環境中26ドル環境中24ドルで,CURLに対する一貫した改善を実現している。
論文 参考訳(メタデータ) (2020-10-15T02:00:10Z) - Boosting Continuous Sign Language Recognition via Cross Modality
Augmentation [135.30357113518127]
連続手話認識は不整合のビデオテキストペアを扱う。
クロスモーダル拡張を用いた新しいアーキテクチャを提案する。
提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
論文 参考訳(メタデータ) (2020-10-11T15:07:50Z) - Reducing Spelling Inconsistencies in Code-Switching ASR using
Contextualized CTC Loss [5.707652271634435]
本研究では,スペル合成の促進を目的とした文脈接続性時間分類(CCTC)の損失を提案する。
CCTC損失は、モデルの推定経路からコンテキスト基底真理を得るため、フレームレベルのアライメントを必要としない。
CSと単言語コーパスの両方において,通常のCTC損失をトレーニングしたモデルと比較して,ASR性能は一貫して改善した。
論文 参考訳(メタデータ) (2020-05-16T09:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。