論文の概要: DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities

• arxiv url: http://arxiv.org/abs/2601.13502v1
• Date: Tue, 20 Jan 2026 01:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.111552
• Title: DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities
• Title（参考訳）: DIS2:Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities
• Authors: Nhi Kieu, Kien Nguyen, Arnold Wiliem, Clinton Fookes, Sridha Sridharan,
• Abstract要約: DIS2は、モダリティ共有機能依存からアクティブでガイド付き機能不足補償へ移行した新しいパラダイムである。 補償的特徴は、利用可能なモダリティの特徴と融合すると、フルモダリティの場合の理想的フューズド表現に近似する。 提案手法はベンチマーク間で最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 28.992992584085787
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The efficacy of multimodal learning in remote sensing (RS) is severely undermined by missing modalities. The challenge is exacerbated by the RS highly heterogeneous data and huge scale variation. Consequently, paradigms proven effective in other domains often fail when confronted with these unique data characteristics. Conventional disentanglement learning, which relies on significant feature overlap between modalities (modality-invariant), is insufficient for this heterogeneity. Similarly, knowledge distillation becomes an ill-posed mimicry task where a student fails to focus on the necessary compensatory knowledge, leaving the semantic gap unaddressed. Our work is therefore built upon three pillars uniquely designed for RS: (1) principled missing information compensation, (2) class-specific modality contribution, and (3) multi-resolution feature importance. We propose a novel method DIS2, a new paradigm shifting from modality-shared feature dependence and untargeted imitation to active, guided missing features compensation. Its core novelty lies in a reformulated synergy between disentanglement learning and knowledge distillation, termed DLKD. Compensatory features are explicitly captured which, when fused with the features of the available modality, approximate the ideal fused representation of the full-modality case. To address the class-specific challenge, our Classwise Feature Learning Module (CFLM) adaptively learn discriminative evidence for each target depending on signal availability. Both DLKD and CFLM are supported by a hierarchical hybrid fusion (HF) structure using features across resolutions to strengthen prediction. Extensive experiments validate that our proposed approach significantly outperforms state-of-the-art methods across benchmarks.
• Abstract（参考訳）: リモートセンシング(RS)におけるマルチモーダル学習の有効性は、欠落したモダリティによって著しく損なわれている。 この課題は、RSの高度に異質なデータと大規模な変動によって悪化する。 その結果、他の領域で有効であることが証明されたパラダイムは、これらのユニークなデータ特性に直面すると失敗することが多い。 モダリティ(モダリティ不変性)間の重要な特徴重なりに依存している従来の非絡み合い学習は、この不均一性には不十分である。 同様に、知識の蒸留は、学生が必要な補償知識に焦点を合わせず、意味的ギャップを未然に残す不適切な模倣作業となる。 そこで,本研究は,(1)情報補償の原則,(2)クラス固有のモダリティ貢献,(3)マルチレゾリューション機能の重要性の3つの柱上に構築されている。 モダリティ共有された特徴依存と未ターゲットの模倣からアクティブでガイド付き特徴補償へ移行する新しいパラダイムであるdis2を提案する。 その中核となる新規性は、DLKD(DLKD)と呼ばれる解離学習と知識蒸留の相乗効果である。 補償的特徴は、利用可能なモダリティの特徴と融合すると、フルモダリティの場合の理想的フューズド表現に近似する。 クラス固有の課題に対処するため,私たちのCFLM(Classwise Feature Learning Module)は,信号の可利用性に応じて,各ターゲットに対する識別的証拠を適応的に学習する。 DLKDとCFLMはどちらも階層型ハイブリッド核融合(HF)構造でサポートされており、予測を強化するために解像度をまたいだ特徴がある。 大規模な実験により,提案手法がベンチマーク全体にわたって最先端の手法を著しく上回っていることが確認された。

関連論文リスト

• Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
  本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。 ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
  論文  参考訳（メタデータ） (2025-12-03T12:43:16Z)
• Representation Space Constrained Learning with Modality Decoupling for Multimodal Object Detection [3.556651853847748]
  本稿では,マルチモーダル検出における核融合劣化の理論的検討を行う。 2つのモジュールからなるRepresentation Space Constrained Learning with Modality Decoupling (RSC-MD)法を提案する。 提案手法は, 核融合劣化を効果的に軽減し, 複数のベンチマークで最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-11-19T13:41:27Z)
• Rethinking Efficient Mixture-of-Experts for Remote Sensing Modality-Missing Classification [33.302856478333524]
  リモートセンシングにおけるマルチモーダル分類は、環境干渉、センサーの故障、大気の影響によって生じるモダリティの欠如に悩まされることが多い。 既存の2段階適応法は計算コストが高く、訓練中に完全なマルチモーダルデータを仮定し、その一般化を実世界の不完全性に制限する。 マルチタスク学習問題として欠落したモダリティを再構成するMissing-Aware Mixture-of-Lorasフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-14T16:31:37Z)
• Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis [16.95583564875497]
  本稿では,不完全なモダリティ・ディアンタングル表現(IMDR)戦略を提案する。 4つのマルチモーダルデータセットの実験により、提案したIMDRが最先端の手法を大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-02-17T12:10:35Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。