論文の概要: Unsupervised Multimodal Change Detection Based on Structural Relationship Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2210.00941v1
• Date: Mon, 3 Oct 2022 13:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 17:46:16.487171
• Title: Unsupervised Multimodal Change Detection Based on Structural Relationship Graph Representation Learning
• Title（参考訳）: 構造関係グラフ表現学習に基づく教師なしマルチモーダル変化検出
• Authors: Hongruixuan Chen and Naoto Yokoya and Chen Wu and Bo Du
• Abstract要約: 教師なしマルチモーダル変化検出は、時間に敏感な緊急アプリケーションにおいて重要な役割を果たす、実用的で困難なトピックである。 マルチモーダル画像における2種類のモダリティ非依存構造関係を利用する。 本稿では,2つの構造関係の類似性を測定するための構造関係グラフ表現学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.631724905575034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised multimodal change detection is a practical and challenging topic that can play an important role in time-sensitive emergency applications. To address the challenge that multimodal remote sensing images cannot be directly compared due to their modal heterogeneity, we take advantage of two types of modality-independent structural relationships in multimodal images. In particular, we present a structural relationship graph representation learning framework for measuring the similarity of the two structural relationships. Firstly, structural graphs are generated from preprocessed multimodal image pairs by means of an object-based image analysis approach. Then, a structural relationship graph convolutional autoencoder (SR-GCAE) is proposed to learn robust and representative features from graphs. Two loss functions aiming at reconstructing vertex information and edge information are presented to make the learned representations applicable for structural relationship similarity measurement. Subsequently, the similarity levels of two structural relationships are calculated from learned graph representations and two difference images are generated based on the similarity levels. After obtaining the difference images, an adaptive fusion strategy is presented to fuse the two difference images. Finally, a morphological filtering-based postprocessing approach is employed to refine the detection results. Experimental results on five datasets with different modal combinations demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 教師なしマルチモーダル変化検出は、時間に敏感な緊急アプリケーションにおいて重要な役割を果たす、実用的で困難なトピックである。 マルチモーダルリモートセンシング画像がモーダルな不均一性のために直接比較できないという課題に対処するために,マルチモーダル画像における2種類のモーダル非依存構造関係を利用する。 特に,2つの構造的関係の類似性を測定するための構造的関係グラフ表現学習フレームワークを提案する。 まず、オブジェクトベース画像解析アプローチにより、前処理されたマルチモーダル画像ペアから構造グラフを生成する。 次に、構造関係グラフ畳み込みオートエンコーダ(SR-GCAE)を提案し、グラフから頑健で代表的な特徴を学習する。 頂点情報とエッジ情報を再構成する2つの損失関数を提示し、構造関係類似度測定に適用する。 その後、学習グラフ表現から2つの構造関係の類似度レベルを算出し、類似度レベルに基づいて2つの差分画像を生成する。 差分画像を取得すると、2つの差分画像を融合させる適応融合戦略を示す。 最後に, 形態学的フィルタリングに基づく後処理手法を用いて検出結果を改良する。 モーダル組み合わせの異なる5つのデータセットに対する実験結果から,提案手法の有効性が示された。

関連論文リスト

• Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
  本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。 MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。 2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-26T16:30:18Z)
• Bayesian Unsupervised Disentanglement of Anatomy and Geometry for Deep Groupwise Image Registration [50.62725807357586]
  本稿では,マルチモーダル群画像登録のための一般ベイズ学習フレームワークを提案する。 本稿では,潜在変数の推論手順を実現するために,新しい階層的変分自動符号化アーキテクチャを提案する。 心臓、脳、腹部の医療画像から4つの異なるデータセットを含む,提案された枠組みを検証する実験を行った。
  論文  参考訳（メタデータ） (2024-01-04T08:46:39Z)
• Learning transformer-based heterogeneously salient graph representation for multimodal remote sensing image classification [42.15709954199397]
  本稿では,変圧器を用いたヘテロジニアサリエントグラフ表現法(THSGR)を提案する。 まず、多モード不均一グラフエンコーダを用いて、非ユークリッド構造の特徴を異種データから符号化する。 自己アテンションフリーなマルチ畳み込み変調器は、効果的かつ効率的な長期依存性モデリングのために設計されている。
  論文  参考訳（メタデータ） (2023-11-17T04:06:20Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• Inferring Local Structure from Pairwise Correlations [0.0]
  相関関係が局所関係を回復するのに十分な情報を提供することを示す。 これは、我々のデータに高次相互作用構造が存在するにもかかわらず、成功することを証明している。
  論文  参考訳（メタデータ） (2023-05-07T22:38:29Z)
• Transformer-based Dual Relation Graph for Multi-label Image Recognition [56.12543717723385]
  本稿では,トランスフォーマーをベースとしたデュアルリレーショナル学習フレームワークを提案する。 相関の2つの側面、すなわち構造関係グラフと意味関係グラフについて検討する。 提案手法は,2つのポピュラーなマルチラベル認識ベンチマークにおいて,最先端性を実現する。
  論文  参考訳（メタデータ） (2021-10-10T07:14:52Z)
• Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
  本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
  論文  参考訳（メタデータ） (2021-03-18T05:10:49Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。