論文の概要: MaskAdapt: Unsupervised Geometry-Aware Domain Adaptation Using Multimodal Contextual Learning and RGB-Depth Masking

• arxiv url: http://arxiv.org/abs/2505.24026v1
• Date: Thu, 29 May 2025 21:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.678099
• Title: MaskAdapt: Unsupervised Geometry-Aware Domain Adaptation Using Multimodal Contextual Learning and RGB-Depth Masking
• Title（参考訳）: MaskAdapt:マルチモーダル文脈学習とRGB深度マスキングを用いた教師なし幾何学的ドメイン適応
• Authors: Numair Nadeem, Muhammad Hamza Asad, Saeed Anwar, Abdul Bais,
• Abstract要約: MaskAdaptは、マルチモーダルな文脈学習を通じてセグメンテーションの精度を高める新しいアプローチである。 深度マップから深度勾配を計算することにより,テクスチャのあいまいさを解消する空間遷移を捉える。 実際の農業データセットの評価は、MaskAdaptが既存のSOTA(State-of-the-Art)メソッドを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 16.926158907882012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic segmentation of crops and weeds is crucial for site-specific farm management; however, most existing methods depend on labor intensive pixel-level annotations. A further challenge arises when models trained on one field (source domain) fail to generalize to new fields (target domain) due to domain shifts, such as variations in lighting, camera setups, soil composition, and crop growth stages. Unsupervised Domain Adaptation (UDA) addresses this by enabling adaptation without target-domain labels, but current UDA methods struggle with occlusions and visual blending between crops and weeds, leading to misclassifications in real-world conditions. To overcome these limitations, we introduce MaskAdapt, a novel approach that enhances segmentation accuracy through multimodal contextual learning by integrating RGB images with features derived from depth data. By computing depth gradients from depth maps, our method captures spatial transitions that help resolve texture ambiguities. These gradients, through a cross-attention mechanism, refines RGB feature representations, resulting in sharper boundary delineation. In addition, we propose a geometry-aware masking strategy that applies horizontal, vertical, and stochastic masks during training. This encourages the model to focus on the broader spatial context for robust visual recognition. Evaluations on real agricultural datasets demonstrate that MaskAdapt consistently outperforms existing State-of-the-Art (SOTA) UDA methods, achieving improved segmentation mean Intersection over Union (mIOU) across diverse field conditions.
• Abstract（参考訳）: 作物と雑草のセマンティックセグメンテーションは、現場固有の農業経営には不可欠であるが、既存の方法の多くは、労働集約的なピクセルレベルのアノテーションに依存している。 さらなる課題は、あるフィールド(ソースドメイン)で訓練されたモデルが、照明のバリエーション、カメラの設定、土壌組成、作物の成長段階などの領域シフトによって、新しいフィールド(ターゲットドメイン)に一般化できないときに生じる。 教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、ターゲットドメインラベルを使わずに適応可能にすることでこの問題に対処するが、現在のUDAメソッドは、作物と雑草の間の隠蔽と視覚的ブレンディングに苦労し、現実世界の状況において誤分類をもたらす。 これらの制約を克服するために,RGB画像と深度データから得られる特徴を統合することで,マルチモーダルな文脈学習によりセグメント化精度を向上させる新しいアプローチであるMaskAdaptを導入する。 深度マップから深度勾配を計算することにより,テクスチャのあいまいさを解消する空間遷移を捉える。 これらの勾配は、クロスアテンション機構を通じてRGBの特徴表現を洗練し、境界線がよりシャープになる。 さらに,水平面,垂直面,確率面をトレーニング中に適用する幾何学的マスキング手法を提案する。 これにより、モデルがより広い空間的コンテキストに焦点を合わせることで、堅牢な視覚認識が可能になる。 実際の農業データセットに対する評価は、MaskAdaptが既存のステート・オブ・ザ・アート(SOTA) UDA法を一貫して上回り、様々な分野の状況におけるユニオン(mIOU)に対するセグメンテーション平均インターセクションの改善を実現していることを示している。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• BLADE: Box-Level Supervised Amodal Segmentation through Directed Expansion [10.57956193654977]
  Boxレベルの教師付きアモーダルセグメンテーションは、この課題に対処する。 可視マスクから対応するアモーダルマスクへの指向性拡張アプローチを導入することで,新しい解を提案する。 このアプローチでは、オーバーラップする領域 – 異なるインスタンスが交わる領域 – に基づいた、ハイブリッドなエンドツーエンドネットワークが関係しています。
  論文  参考訳（メタデータ） (2024-01-03T09:37:03Z)
• Box-Adapt: Domain-Adaptive Medical Image Segmentation using Bounding BoxSupervision [52.45336255472669]
  深層学習のための弱教師付きドメイン適応設定を提案する。 Box-Adaptは、ソースドメインのきめ細かいセグナオンマスクとターゲットドメインの弱いバウンディングボックスを完全に探索する。 肝セグメンテーションにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-19T01:51:04Z)
• Context-Aware Mixup for Domain Adaptive Semantic Segmentation [52.1935168534351]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインのモデルをラベル付きターゲットドメインに適応させることを目的としている。 ドメイン適応型セマンティックセグメンテーションのためのエンド・ツー・エンドコンテキスト・アウェア・ミックスアップ(CAMix)を提案する。 実験結果から,提案手法は最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2021-08-08T03:00:22Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)
• Spatial Attention Pyramid Network for Unsupervised Domain Adaptation [66.75008386980869]
  教師なし領域適応は様々なコンピュータビジョンタスクにおいて重要である。 教師なし領域適応のための新しい空間注意ピラミッドネットワークを設計する。 我々の手法は最先端の手法に対して大きなマージンで好適に機能する。
  論文  参考訳（メタデータ） (2020-03-29T09:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。