論文の概要: GeoSAM: Fine-tuning SAM with Sparse and Dense Visual Prompting for Automated Segmentation of Mobility Infrastructure

• arxiv url: http://arxiv.org/abs/2311.11319v2
• Date: Tue, 30 Jan 2024 22:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 17:31:50.669240
• Title: GeoSAM: Fine-tuning SAM with Sparse and Dense Visual Prompting for Automated Segmentation of Mobility Infrastructure
• Title（参考訳）: GeoSAM: モビリティインフラストラクチャの自動セグメンテーションのためのスパースと濃厚なビジュアルプロンプトを備えた微調整SAM
• Authors: Rafi Ibn Sultan, Chengyin Li, Hui Zhu, Prashant Khanduri, Marco Brocanelli, Dongxiao Zhu
• Abstract要約: Segment Anything Model (SAM)は、自然画像のセグメンテーションに適用された際、印象的な性能を示している。 ゼロショット学習からの濃密な視覚的プロンプトを用いた微調整戦略を実装した新しいSAMベースのフレームワークであるGeographical SAMを提案する。 提案したGeoSAMは,道路インフラストラクチャ,歩行者インフラストラクチャ,平均で26%,7%,17%,地理的イメージセグメンテーションに対する既存のアプローチをそれぞれ上回っている。
• 参考スコア（独自算出の注目度）: 12.742385668015782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Segment Anything Model (SAM) has shown impressive performance when applied to natural image segmentation. However, it struggles with geographical images like aerial and satellite imagery, especially when segmenting mobility infrastructure including roads, sidewalks, and crosswalks. This inferior performance stems from the narrow features of these objects, their textures blending into the surroundings, and interference from objects like trees, buildings, vehicles, and pedestrians - all of which can disorient the model to produce inaccurate segmentation maps. To address these challenges, we propose Geographical SAM (GeoSAM), a novel SAM-based framework that implements a fine-tuning strategy using the dense visual prompt from zero-shot learning, and the sparse visual prompt from a pre-trained CNN segmentation model. The proposed GeoSAM outperforms existing approaches for geographical image segmentation, specifically by 26%, 7%, and 17% for road infrastructure, pedestrian infrastructure, and on average, respectively, representing a momentous leap in leveraging foundation models to segment mobility infrastructure including both road and pedestrian infrastructure in geographical images. The source code can be found on this GitHub repository: https://github.com/rafiibnsultan/GeoSAM/tree/main.
• Abstract（参考訳）: Segment Anything Model (SAM)は、自然画像のセグメンテーションに適用された際、印象的な性能を示している。 しかし、特に道路、歩道、横断歩道などの移動インフラを分割する場合、航空画像や衛星画像のような地理的画像に苦しむ。 この劣ったパフォーマンスは、これらのオブジェクトの狭い特徴、それらのテクスチャが周囲に混ざり合うこと、木、建物、車両、歩行者のようなオブジェクトから干渉することに由来する。 これらの課題に対処するために,ゼロショット学習からの濃密な視覚的プロンプトと,事前学習したCNNセグメンテーションモデルからの疎密な視覚的プロンプトを用いて微調整戦略を実装する新しいSAMベースのフレームワークであるGeoSAMを提案する。 提案するジオサムは, 道路インフラ, 歩行者インフラ, および平均して26%, 7%, および17%の地理的画像分割手法を上回っており, 地理画像における道路インフラストラクチャと歩行者インフラストラクチャを含む移動インフラの分割に基礎モデルを活用する際の瞬間的な飛躍を表している。 ソースコードはこのgithubリポジトリにある。 https://github.com/rafiibnsultan/geosam/tree/main。

関連論文リスト

• Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
  SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。 第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。 これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
  論文  参考訳（メタデータ） (2024-04-18T17:59:53Z)
• Segment Anything Model for Road Network Graph Extraction [27.789980798493463]
  衛星画像から大規模でベクトル化された道路網グラフを抽出するためのSAM-Roadを提案する。 SAM-Roadは単純で単純で最小限の設計で、最先端のRNGDet++で同等の精度を実現している。
  論文  参考訳（メタデータ） (2024-03-24T07:36:38Z)
• Zero-Shot Segmentation of Eye Features Using the Segment Anything Model (SAM) [8.529233820032678]
  Segment Anything Model (SAM)は、画像セグメンテーションのための最初の基礎モデルである。 本研究では,VR機器で記録された視線画像から特徴を分割するSAMの能力を評価する。 我々の調査はSAMのゼロショット学習能力と、バウンディングボックスやポイントクリックのようなプロンプトの有効性に焦点を当てている。
  論文  参考訳（メタデータ） (2023-11-14T11:05:08Z)
• Zero-Shot Refinement of Buildings' Segmentation Models using SAM [6.110856077714895]
  本稿では,既存モデルの一般化損失に対処するために基礎モデルを適用する新しいアプローチを提案する。 いくつかのモデルの中で、私たちはSegment Anything Model(SAM)に焦点を当てています。 SAMは認識機能を提供しないので、ローカライズされたオブジェクトの分類とタグ付けに失敗する。 この新しいアプローチはSAMを認識能力で強化する。
  論文  参考訳（メタデータ） (2023-10-03T07:19:59Z)
• Segment Anything Meets Point Tracking [116.44931239508578]
  本稿では,SAMと長期点追跡を併用した,ポイント中心の対話型ビデオセグメンテーションの新たな手法を提案する。 ゼロショットオープンワールドUnidentified Video Objects(UVO)ベンチマークで直接評価することで,ポイントベーストラッキングのメリットを強調した。 DAVIS, YouTube-VOS, BDD100Kなどの人気ビデオオブジェクトのセグメンテーションと多目的セグメンテーションのベンチマーク実験により, ポイントベースセグメンテーショントラッカーがより優れたゼロショット性能と効率的なインタラクションをもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:58:01Z)
• SAD: Segment Any RGBD [54.24917975958583]
  Segment Anything Model (SAM)は、2D RGB画像の任意の部分のセグメント化の有効性を実証している。 本稿では,画像から直接幾何学情報を抽出するSegment Any RGBD (SAD) モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:26:56Z)
• Structured Bird's-Eye-View Traffic Scene Understanding from Onboard Images [128.881857704338]
  本研究では,BEV座標における局所道路網を表す有向グラフを,単眼カメラ画像から抽出する問題について検討する。 提案手法は,BEV平面上の動的物体を検出するために拡張可能であることを示す。 我々は、強力なベースラインに対するアプローチを検証するとともに、ネットワークが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-10-05T12:40:33Z)
• Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection [12.786648212233116]
  地域ベースのオーバーおよびアンダーセグメンテーションを評価するための新しいメトリクスを紹介します。 分析して他のメトリクスと比較し、実世界のアプリケーションにおけるセマンティックセグメンテーションモデルのパフォーマンスをより説明しやすくなることを示す。
  論文  参考訳（メタデータ） (2021-01-21T03:12:43Z)
• Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks [3.4797121357690153]
  本稿では,高解像度衛星画像に対する画像と画像の変換手法として,CGAN(Conditional Generative Adversarial Networks)を提案する。 CGANモデルは、見当たらない不均衡なテストデータセットにおいて、同様の複雑性のCNNモデルよりもかなりのマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2020-12-05T18:18:45Z)
• Self-supervised Segmentation via Background Inpainting [96.10971980098196]
  移動可能なカメラで撮影された単一の画像で、自己教師付き検出とセグメンテーションのアプローチを導入する。 我々は、提案に基づくセグメンテーションネットワークのトレーニングに利用する自己教師付き損失関数を利用する。 本手法は,標準ベンチマークから視覚的に切り離された画像の人間の検出とセグメント化に応用し,既存の自己監督手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-11T08:34:40Z)
• Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization [54.00111565818903]
  クロスビューなジオローカライゼーションは、異なるプラットフォームから同じ地理的ターゲットの画像を見つけることである。 既存の手法は通常、画像センター内の地理的ターゲットの微細な特徴をマイニングすることに集中している。 我々は、文脈情報を活用するために、ローカルパターンネットワーク(LPN)と呼ばれるシンプルで効果的なディープニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-08-26T16:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。