論文の概要: EchoChange: A Diffusion Language Model with Dual Pass Remasking for Factual Remote Sensing Disaster Change Captioning
- arxiv url: http://arxiv.org/abs/2608.01856v1
- Date: Mon, 03 Aug 2026 08:04:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.393329
- Title: EchoChange: A Diffusion Language Model with Dual Pass Remasking for Factual Remote Sensing Disaster Change Captioning
- Title（参考訳）: EchoChange:Factual Remote Sensing Disaster Change CaptioningのためのDual Pass Remasking付き拡散言語モデル
- Abstract要約: 両時間的リモートセンシングによる災害変化のキャプションは、スパースと空間的局所的な変化を識別する必要があることが多い。
既存の変更キャプションメソッドは常に自動回帰デコードパラダイムに従って変更記述を生成する。
本研究では,複数モーダルな離散拡散言語モデルであるEchoChangeを提案する。
- 参考スコア（独自算出の注目度）: 33.24087446158851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bi-temporal remote-sensing disaster change captioning often needs to identify sparse and spatially localized changes across large pre- and post-event scenes and then translate them into coherent, factual descriptions. However, existing change captioning methods always follow an autoregressive decoding paradigm to generate the change description and thus an early misinterpretation of the changed object, event, or spatial relation becomes an irreversible premise for subsequent text, amplifying visual ambiguity into cascading factual errors. To address this limitation, we propose EchoChange, a multimodal discrete diffusion language model that formulates change captioning as iterative masked-token denoising rather than left-to-right generation. By repeatedly revising the entire caption while conditioning on the image pair, EchoChange can reconsider uncertain content and correct imperfect intermediate predictions. We further introduce draft-aware dual-pass training, a progressive masking curriculum, and confidence-guided remasking to align training with iterative inference. Extensive experiments on the RSCC benchmark show that EchoChange substantially outperforms both general-purpose and remote-sensing-specific baselines across lexical and semantic metrics. The EchoChange Project is at https://github.com/sundongwei/EchoChange_Project
- Abstract（参考訳）: 両時間的リモートセンシングによる災害変化のキャプションは、大きなプレイベントシーンとポストイベントシーンにまたがるスパースかつ空間的局所的な変化を識別し、それらを一貫性のある事実記述に変換する必要がある。
しかし、既存の変更キャプション手法は、常に自己回帰的デコードパラダイムに従って変更記述を生成するため、変更対象、事象、空間関係の早期の誤解釈は、その後のテキストの不可逆的な前提となり、視覚的曖昧さを現実的誤りのカスケードに増幅する。
この制限に対処するために,左から右への生成ではなく,反復的なマスキング・トウニングとしてキャプションを変化させる多モーダル離散拡散言語モデルであるEchoChangeを提案する。
イメージペアを条件付けしながらキャプション全体を繰り返し修正することにより、EchoChangeは不確実な内容を再考し、不完全な中間予測を正すことができる。
さらに,プログレッシブ・マスキング・カリキュラム,信頼誘導型リマスキーを導入し,反復的推論でトレーニングを整合させる。
RSCCベンチマークの大規模な実験によると、EchoChangeは語彙と意味のメトリクスで汎用性とリモートセンシング固有のベースラインを大きく上回っている。
EchoChangeプロジェクトはhttps://github.com/sundongwei/EchoChange_Projectにある
関連論文リスト
- Masked Diffusion Vision-Language Models for Temporal Action Localization [10.018515245238216]
テンポラルアクションローカライゼーション(TAL)では、ターゲットイベントを認識し、開始時刻と終了時刻を未トリミングビデオで正確にローカライズする必要がある。
最近の視覚言語定式化はセマンティック推論を改善し、言語条件付き出力をサポートするが、自動回帰デコーダは依然として左から右へトークンを生成する。
我々は視覚言語モデルをTALに適応させ、反復的復調を通して意味トークンと境界トークンを編集可能にした。
論文 参考訳（メタデータ） (2026-05-28T12:39:04Z) - Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。
Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-04T12:50:22Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z) - Shushing! Let's Imagine an Authentic Speech from the Silent Video [15.426152742881365]
視覚誘導音声生成は、聴覚信号に頼ることなく、顔の外観や唇の動きから真の音声を生成することを目的としている。
近年の進歩にもかかわらず、既存の手法は視覚的手がかりから意味論、音色、感情的な韻律を横断的に統一するのに苦労している。
ImaginTalkは、視覚入力のみを用いて忠実な音声を生成する新しいクロスモーダル拡散フレームワークである。
論文 参考訳（メタデータ） (2025-03-19T06:28:17Z) - Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection [52.62459671461816]
本稿では,視覚基盤モデルからのセマンティックな先入観を取り入れ,変化を検出する能力の向上について検討する。
人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、意味認識特徴と差認識特徴を組み合わせることで変化を区別するために導出される。
論文 参考訳（メタデータ） (2024-12-22T08:27:15Z) - Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - Neighborhood Contrastive Transformer for Change Captioning [80.10836469177185]
本研究では,異なる環境下での様々な変化に対するモデルの知覚能力を向上させるために,近傍のコントラスト変換器を提案する。
提案手法は,変化シナリオの異なる3つの公開データセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-06T14:39:54Z) - TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。
我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。
TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2022-05-25T06:34:14Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-27T21:16:10Z) - Visual-aware Attention Dual-stream Decoder for Video Captioning [12.139806877591212]
現在のビデオキャプション方式の注意機構は、各フレームに重みを割り当てることを学び、デコーダを動的に推進する。
これは、シーケンスフレームで抽出された視覚的特徴の相関と時間的コヒーレンスを明示的にモデル化するものではない。
本稿では,単語の時間的シーケンスフレームの変化を前回のモーメントで統一する,新しい視覚認識注意(VA)モデルを提案する。
VADD(Visual-Aware Attention Dual-stream Decoder)の有効性を示す。
論文 参考訳（メタデータ） (2021-10-16T14:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。