論文の概要: UrbanSAM: Learning Invariance-Inspired Adapters for Segment Anything Models in Urban Construction

• arxiv url: http://arxiv.org/abs/2502.15199v1
• Date: Fri, 21 Feb 2025 04:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:06:54.581151
• Title: UrbanSAM: Learning Invariance-Inspired Adapters for Segment Anything Models in Urban Construction
• Title（参考訳）: UrbanSAM: 都市建設におけるセグメンテーションモデルのための不変型適応器の学習
• Authors: Chenyu Li, Danfeng Hong, Bing Zhang, Yuxuan Li, Gustau Camps-Valls, Xiao Xiang Zhu, Jocelyn Chanussot,
• Abstract要約: 都市形態は本質的に複雑で、様々な形状と様々なスケールの不規則な物体がある。 Segment Anything Model (SAM) は複雑なシーンのセグメンテーションにおいて大きな可能性を示している。 本研究では,複雑な都市環境の分析に特化して設計されたSAMのカスタマイズ版であるUrbanSAMを提案する。
• 参考スコア（独自算出の注目度）: 51.54946346023673
• License:
• Abstract: Object extraction and segmentation from remote sensing (RS) images is a critical yet challenging task in urban environment monitoring. Urban morphology is inherently complex, with irregular objects of diverse shapes and varying scales. These challenges are amplified by heterogeneity and scale disparities across RS data sources, including sensors, platforms, and modalities, making accurate object segmentation particularly demanding. While the Segment Anything Model (SAM) has shown significant potential in segmenting complex scenes, its performance in handling form-varying objects remains limited due to manual-interactive prompting. To this end, we propose UrbanSAM, a customized version of SAM specifically designed to analyze complex urban environments while tackling scaling effects from remotely sensed observations. Inspired by multi-resolution analysis (MRA) theory, UrbanSAM incorporates a novel learnable prompter equipped with a Uscaling-Adapter that adheres to the invariance criterion, enabling the model to capture multiscale contextual information of objects and adapt to arbitrary scale variations with theoretical guarantees. Furthermore, features from the Uscaling-Adapter and the trunk encoder are aligned through a masked cross-attention operation, allowing the trunk encoder to inherit the adapter's multiscale aggregation capability. This synergy enhances the segmentation performance, resulting in more powerful and accurate outputs, supported by the learned adapter. Extensive experimental results demonstrate the flexibility and superior segmentation performance of the proposed UrbanSAM on a global-scale dataset, encompassing scale-varying urban objects such as buildings, roads, and water.
• Abstract（参考訳）: リモートセンシング(RS)画像からのオブジェクト抽出とセグメンテーションは,都市環境モニタリングにおいて重要な課題である。 都市形態は本質的に複雑で、様々な形状と様々なスケールの不規則な物体がある。 これらの課題は、センサー、プラットフォーム、モダリティを含むRSデータソース間の異質性とスケールの格差によって増幅され、特に要求される正確なオブジェクトセグメンテーションが実現される。 SAM(Segment Anything Model)は複雑なシーンのセグメンテーションにおいて有意なポテンシャルを示したが、手動の対話的プロンプトのため、形状の異なるオブジェクトを扱う場合のパフォーマンスは制限されている。 そこで我々は,複雑な都市環境をリモートセンシングした観測結果からスケーリング効果に対処しながら分析するSAMのカスタマイズ版であるUrbanSAMを提案する。 マルチレゾリューション解析(MRA)理論にインスパイアされたUrbanSAMは、不変条件に準拠したUscaling-Adapterを備えた新しい学習可能なプロンプトを組み込み、モデルがオブジェクトのマルチスケールのコンテキスト情報をキャプチャし、理論的な保証とともに任意のスケールのバリエーションに適応できるようにする。 さらに、Uscaling-Adapterとトランクエンコーダの特徴はマスクされたクロスアテンション操作によって整列され、トランクエンコーダはアダプタのマルチスケールアグリゲーション機能を継承することができる。 このシナジーによりセグメンテーション性能が向上し、学習アダプタがサポートするより強力で正確な出力が得られる。 ビル,道路,水などの大規模都市オブジェクトを包含するグローバルスケールデータセットを用いて,提案したUrbanSAMのフレキシビリティとセグメンテーション性能を実証した。

関連論文リスト

• PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
  PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。 複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。 PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。 本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:59:53Z)
• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• ClassWise-SAM-Adapter: Parameter Efficient Fine-tuning Adapts Segment Anything to SAR Domain for Semantic Segmentation [6.229326337093342]
  Segment Anything Model (SAM) は意味情報と一般化能力に依存する様々なセグメンテーションシナリオを抽出する。 The ClassWiseSAM-Adapter (CWSAM) is designed to adapt the high-performing SAM for landcover classification on Spaceborne Synthetic Aperture Radar (SAR) images。 CWSAMは、少ないコンピューティングリソースでパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2024-01-04T15:54:45Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints [9.238103649037951]
  本稿では,SAM生成オブジェクト(SGO)とSAM生成境界(SGB)という2つの新しい概念を活用することにより,SAMの生出力を活用するフレームワークを提案する。 本稿では,SGOのコンテンツ特性を考慮し,セマンティックな情報を持たないセグメンテーション領域を活用するために,オブジェクト整合性の概念を導入する。 境界損失は、モデルが対象の境界情報に注意を向けることによって、SGBの特徴的な特徴に重きを置いている。
  論文  参考訳（メタデータ） (2023-12-05T03:33:47Z)
• SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment Anything Model [85.85899655118087]
  我々はSAMRSと呼ばれる大規模RSセグメンテーションデータセットを生成するための効率的なパイプラインを開発する。 SAMRSは完全に105,090の画像と1,668,241のインスタンスを持ち、既存の高解像度RSセグメンテーションデータセットを数桁上回っている。
  論文  参考訳（メタデータ） (2023-05-03T10:58:07Z)
• Local Manifold Augmentation for Multiview Semantic Consistency [40.28906509638541]
  本稿では、データセットから基礎となるデータバリエーションを抽出し、局所多様体拡張(LMA)と呼ばれる新しい拡張演算子を構築することを提案する。 LMAは、無限の数のデータビューを作成し、セマンティクスを保持し、オブジェクトのポーズ、視点、照明条件、背景などの複雑なバリエーションをシミュレートする能力を示している。
  論文  参考訳（メタデータ） (2022-11-05T02:00:13Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Scene-Aware Ambidextrous Bin Picking via Physics-based Metaverse Synthesis [72.85526892440251]
  本稿では,物理に基づくメタバース合成により構築した大規模写真リアリスティックビンピックデータセットであるMetaGraspNetを紹介する。 提案データセットは,82種類の記事に対して217kのRGBD画像を含み,オブジェクト検出,アモーダル認識,キーポイント検出,操作順序,および並列ジャウと真空グリップパー用のアンビデクストグリップラベルの完全なアノテーションを備える。 また,2.3k以上の完全アノテートされた高品質なRGBD画像からなる実際のデータセットを5段階の難易度と,異なるオブジェクトおよびレイアウト特性を評価するための見えないオブジェクトセットに分割する。
  論文  参考訳（メタデータ） (2022-08-08T08:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。