論文の概要: DualSwinFusionSeg: Multimodal Martian Landslide Segmentation via Dual Swin Transformer with Multi-Scale Fusion and UNet++

• arxiv url: http://arxiv.org/abs/2603.14132v1
• Date: Sat, 14 Mar 2026 21:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.624442
• Title: DualSwinFusionSeg: Multimodal Martian Landslide Segmentation via Dual Swin Transformer with Multi-Scale Fusion and UNet++
• Title（参考訳）: DualSwinFusionSeg: Dual Swin TransformerによるマルチスケールフュージョンとUNet++によるマルチモーダル火星地すべりセグメンテーション
• Abstract要約: モーダリティ固有の特徴抽出を分離し,マルチスケールのクロスモーダル融合を行うマルチモーダルセグメンテーションアーキテクチャであるDualSwinFusionSegを提案する。 このモデルは2つの並列Swin Transformer V2エンコーダを使用して、RGBと補助的な物理入力を独立に処理し、階層的な特徴表現を生成する。 PBVS 2026 Mars-LS ChallengeによるMMLSv2データセットの実験では、モダリティ固有のエンコーダと単純な結合に基づく融合により、限られた訓練データの下でのセグメンテーション精度が向上した。
• 参考スコア（独自算出の注目度）: 1.1666234644810893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated segmentation of Martian landslides, particularly in tectonically active regions such as Valles Marineris,is important for planetary geology, hazard assessment, and future robotic exploration. However, detecting landslides from planetary imagery is challenging due to the heterogeneous nature of available sensing modalities and the limited number of labeled samples. Each observation combines RGB imagery with geophysical measurements such as digital elevation models, slope maps, thermal inertia, and contextual grayscale imagery, which differ significantly in resolution and statistical properties. To address these challenges, we propose DualSwinFusionSeg, a multimodal segmentation architecture that separates modality-specific feature extraction and performs multi-scale cross-modal fusion. The model employs two parallel Swin Transformer V2 encoders to independently process RGB and auxiliary geophysical inputs, producing hierarchical feature representations. Corresponding features from the two streams are fused at multiple scales and decoded using a UNet++ decoder with dense nested skip connections to preserve fine boundary details. Extensive ablation studies evaluate modality contributions, loss functions, decoder architectures, and fusion strategies. Experiments on the MMLSv2 dataset from the PBVS 2026 Mars-LS Challenge show that modality-specific encoders and simple concatenation-based fusion improve segmentation accuracy under limited training data. The final model achieves 0.867 mIoU and 0.905 F1 on the development benchmark and 0.783 mIoU on the held-out test set, demonstrating strong performance for multimodal planetary surface segmentation.
• Abstract（参考訳）: 火星の地すべり、特にバレス・マリネリスのようなテクトニックな地域での自動セグメンテーションは、惑星地質学、ハザードアセスメント、将来のロボット探査に重要である。 しかし, 惑星画像からの地すべりの検出は, センサ・モードの不均一性や, ラベル付きサンプルの数が限られているため, 困難である。 それぞれの観測は、RGB画像と、デジタル標高モデル、斜面マップ、熱慣性、文脈的グレースケール画像などの物理測度を組み合わせ、解像度と統計特性に大きな違いがある。 これらの課題に対処するため,DualSwinFusionSegを提案する。DualSwinFusionSegはモダリティ固有の特徴抽出を分離し,マルチスケールのクロスモーダル融合を行うマルチモーダルセグメンテーションアーキテクチャである。 このモデルは2つの並列Swin Transformer V2エンコーダを使用して、RGBと補助的な物理入力を独立に処理し、階層的な特徴表現を生成する。 2つのストリームの対応する機能は、複数のスケールで融合され、細かな境界の詳細を保持するために、ネストされたスキップ接続を持つUNet++デコーダを使用してデコードされる。 大規模なアブレーション研究は、モダリティ貢献、損失関数、デコーダアーキテクチャ、融合戦略を評価する。 PBVS 2026 Mars-LS ChallengeによるMMLSv2データセットの実験では、モダリティ固有のエンコーダと単純な結合に基づく融合により、限られた訓練データの下でセグメンテーション精度が向上した。 最終モデルは、開発ベンチマークで0.867 mIoUと0.905 F1、維持テストセットで0.783 mIoUを達成し、マルチモーダル惑星表面セグメンテーションの強力な性能を示す。

関連論文リスト

• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales [65.4821703903285]
  FLOROは、小さなが高度に多様なリモートセンシングコーパスから転送可能な表現を学習するために設計されたマルチモーダル基礎モデルである。 FLOROは、Sentinel-1、Sentinel-2、SkySAT画像、標高、UAV由来のデータとの不均一な組み合わせによるマスク付きオートエンコーディングを用いて事前訓練される。 我々は、シーン分類、セグメンテーション、回帰タスクにまたがる凍結エンコーダプロトコルを用いて、PANGAEAベンチマーク上でFLOROを評価した。
  論文  参考訳（メタデータ） (2026-05-27T08:55:54Z)
• M2I2HA: Multi-modal Object Detection Based on Intra- and Inter-Modal Hypergraph Attention [5.485819352754784]
  本稿では,M2I2HAと呼ばれるハイパーグラフ理論に基づくマルチモーダル知覚ネットワークを提案する。 我々のアーキテクチャにはハイパーグラフ内拡張モジュールが含まれており、各モダリティ内の大域的な多対多の高次関係をキャプチャする。 Inter-Hypergraph Fusionモジュールは、データソース間のコンフィグレーションと空間ギャップをブリッジすることで、クロスモーダル機能を調整、拡張、フューズする。
  論文  参考訳（メタデータ） (2026-01-21T08:55:07Z)
• DIFF-MF: A Difference-Driven Channel-Spatial State Space Model for Multi-Modal Image Fusion [51.07069814578009]
  マルチモーダル画像融合は、複数のソース画像から補完的な情報を統合して、リッチなコンテンツで高品質な融合画像を生成することを目的としている。 マルチモーダル画像融合のための差動駆動型チャネル空間空間モデルDIFF-MFを提案する。 本手法は,視覚的品質と定量的評価の両方において,既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2026-01-09T05:26:54Z)
• Multispectral State-Space Feature Fusion: Bridging Shared and Cross-Parametric Interactions for Object Detection [48.04749955821739]
  MS2Fusionと呼ばれる新しいマルチスペクトル状態空間特徴融合フレームワークが提案されている。 MS2フュージョンはデュアルパスパラメトリック相互作用機構を通じて効率的かつ効果的な融合を実現する。 我々のMS2Fusionは、主要なベンチマーク実験において、他の最先端のマルチスペクトルオブジェクト検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-07-19T14:38:03Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。 この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• SigFormer: Sparse Signal-Guided Transformer for Multi-Modal Human Action Segmentation [34.176963661707696]
  信号誘導変換器(SigFormer)を導入し,高密度信号とスパース信号を組み合わせた。 スパース信号は離散的であるため、時間的作用境界に関する十分な情報がない。 SigFormerは、実産業環境からのマルチモーダルアクションセグメンテーションデータセットにおける最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-11-29T08:09:01Z)
• HODINet: High-Order Discrepant Interaction Network for RGB-D Salient Object Detection [4.007827908611563]
  RGB-D Salient Object Detection (SOD) は、RGBと深度情報を共同でモデル化することで、顕著な領域を検出することを目的としている。 ほとんどのRGB-D SOD法は、同じ種類のバックボーンと融合モジュールを適用して、マルチモーダリティとマルチステージの特徴を同一に学習する。 本稿では,RGB-D SODのための高次離散相互作用ネットワーク(HODINet)を提案する。
  論文  参考訳（メタデータ） (2023-07-03T11:56:21Z)
• GAMUS: A Geometry-aware Multi-modal Semantic Segmentation Benchmark for Remote Sensing Data [27.63411386396492]
  本稿では,RGB-Height(RGB-H)データに基づくマルチモーダルセマンティックセマンティックセマンティクスのための新しいベンチマークデータセットを提案する。 提案するベンチマークは,1)共登録RGBとnDSMペアと画素単位のセマンティックラベルを含む大規模データセットと,2)リモートセンシングデータに基づく畳み込みとトランスフォーマーベースのネットワークのための既存のマルチモーダル融合戦略の包括的評価と解析からなる。
  論文  参考訳（メタデータ） (2023-05-24T09:03:18Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Two Headed Dragons: Multimodal Fusion and Cross Modal Transactions [14.700807572189412]
  本稿では,HSIとLiDARの新たな融合法を提案する。 このモデルは、HSIとLiDARのクロスキー値ペアを利用するスタックされたオートエンコーダで構成されている。 我々はヒューストン(データフュージョン・コンテスト - 2013)とMUUFLガルフポートのデータセットで実験を行い、競争力のある結果を得た。
  論文  参考訳（メタデータ） (2021-07-24T11:33:37Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。