論文の概要: Interactive segmentation in aerial images: a new benchmark and an open
access web-based tool
- arxiv url: http://arxiv.org/abs/2308.13174v1
- Date: Fri, 25 Aug 2023 04:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 15:12:11.248491
- Title: Interactive segmentation in aerial images: a new benchmark and an open
access web-based tool
- Title(参考訳): 空中画像におけるインタラクティブセグメンテーション:新しいベンチマークとオープンアクセスwebツール
- Authors: Zhe Wang, Shoukun Sun, Xiang Que, Xiaogang Ma
- Abstract要約: 我々は,対話型セグメンテーションとリモートセンシング画像解析のギャップを,様々な深層学習に基づく対話型セグメンテーションモデルのベンチマーク研究によって埋めることを目的としている。
リモートセンシングにおいて,これらの対話的セグメンテーション手法を様々な土地被覆タイプ,オブジェクトサイズ,バンドの組み合わせで評価した。
これらの知見に基づいて、リモートセンシングデータの対話的セグメンテーションのためのRSISegという専用オンラインツールを開発した。
- 参考スコア(独自算出の注目度): 2.729446374377189
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In recent years, deep learning has emerged as a powerful approach in remote
sensing applications, particularly in segmentation and classification
techniques that play a crucial role in extracting significant land features
from satellite and aerial imagery. However, only a limited number of papers
have discussed the use of deep learning for interactive segmentation in land
cover classification tasks. In this study, we aim to bridge the gap between
interactive segmentation and remote sensing image analysis by conducting a
benchmark study on various deep learning-based interactive segmentation models.
We assessed the performance of five state-of-the-art interactive segmentation
methods (SimpleClick, FocalClick, Iterative Click Loss (ICL), Reviving
Iterative Training with Mask Guidance for Interactive Segmentation (RITM), and
Segment Anything (SAM)) on two high-resolution aerial imagery datasets. To
enhance the segmentation results without requiring multiple models, we
introduced the Cascade-Forward Refinement (CFR) approach, an innovative
inference strategy for interactive segmentation. We evaluated these interactive
segmentation methods on various land cover types, object sizes, and band
combinations in remote sensing. Surprisingly, the popularly discussed method,
SAM, proved to be ineffective for remote sensing images. Conversely, the
point-based approach used in the SimpleClick models consistently outperformed
the other methods in all experiments. Building upon these findings, we
developed a dedicated online tool called RSISeg for interactive segmentation of
remote sensing data. RSISeg incorporates a well-performing interactive model,
fine-tuned with remote sensing data. Additionally, we integrated the SAM model
into this tool. Compared to existing interactive segmentation tools, RSISeg
offers strong interactivity, modifiability, and adaptability to remote sensing
data.
- Abstract(参考訳): 近年、深層学習はリモートセンシング、特に衛星画像や航空画像から重要な陸地特徴を抽出する上で重要な役割を担うセグメンテーションと分類技術において、強力なアプローチとして出現している。
しかし,土地被覆分類タスクにおける対話的セグメンテーションにおける深層学習の利用について論じる論文は限られている。
本研究では,インタラクティブセグメンテーションとリモートセンシング画像解析のギャップを埋めることを目的として,さまざまなディープラーニングに基づくインタラクティブセグメンテーションモデルのベンチマーク研究を行った。
我々は,2つの高分解能空中画像データセットを用いた5つの最先端インタラクティブセグメンテーション手法(SimpleClick, FocalClick, Iterative Click Loss (ICL), Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM), Segment Anything (SAM))の性能評価を行った。
複数のモデルを必要としないセグメンテーション結果を改善するために,対話型セグメンテーションのための革新的な推論戦略であるカスケード・フォワード・リファインメント(CFR)アプローチを導入した。
リモートセンシングにおいて,これらの対話的セグメンテーション手法を様々な土地被覆タイプ,オブジェクトサイズ,バンドの組み合わせで評価した。
驚いたことに、広く議論されているSAMはリモートセンシング画像には効果がないことが判明した。
逆にSimpleClickモデルで使用されるポイントベースのアプローチは、すべての実験で他のメソッドよりも一貫して優れていた。
これらの知見に基づいて,リモートセンシングデータのインタラクティブセグメンテーションのためのrsisegと呼ばれる専用オンラインツールを開発した。
rsisegには、リモートセンシングデータで微調整された、パフォーマンスのよいインタラクティブモデルが組み込まれている。
さらに、SAMモデルをこのツールに統合しました。
既存のインタラクティブセグメンテーションツールと比較して、RSISegは強力な対話性、モジュラビリティ、リモートセンシングデータへの適応性を提供する。
関連論文リスト
- Refining Segmentation On-the-Fly: An Interactive Framework for Point
Cloud Semantic Segmentation [9.832150567595718]
ポイントクラウドセマンティックセマンティックセグメンテーションのための最初の対話型フレームワークであるInterPCSegを提示する。
本研究では,対話型ポイントクラウドセマンティックセマンティックセグメンテーションタスクに適したインタラクションシミュレーション手法を開発した。
市販セグメンテーションネットワークを用いたS3DISおよびScanNetデータセットのフレームワークの評価を行った。
論文 参考訳(メタデータ) (2024-03-11T03:24:58Z) - Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳(メタデータ) (2024-03-02T10:03:21Z) - TETRIS: Towards Exploring the Robustness of Interactive Segmentation [39.1981941213761]
対話型セグメンテーションモデルに対するホワイトボックス逆攻撃において, 直接最適化により極端なユーザ入力を見つける手法を提案する。
本報告では,多数のモデルについて広範囲な評価を行った結果について報告する。
論文 参考訳(メタデータ) (2024-02-09T01:36:21Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - RAIS: Robust and Accurate Interactive Segmentation via Continual
Learning [16.382862088005087]
本稿では,対話型セグメンテーションと継続的学習のための堅牢で正確なアーキテクチャであるRAISを提案する。
テストセットを効率的に学習するために,グローバルパラメータとローカルパラメータを更新するための新しい最適化手法を提案する。
また,リモートセンシングと医用画像のデータセットにおけるロバスト性も示す。
論文 参考訳(メタデータ) (2022-10-20T03:05:44Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-23T09:31:18Z) - Reviving Iterative Training with Mask Guidance for Interactive
Segmentation [8.271859911016719]
クリックに基づくインタラクティブセグメンテーションに関する最近の研究は、様々な推論時間最適化スキームを用いて最先端の結果を示している。
従来のステップのセグメンテーションマスクを用いた,クリックベースのインタラクティブセグメンテーションのための簡単なフィードフォワードモデルを提案する。
COCOとLVISの組み合わせで訓練されたモデルと、多様で高品質のアノテーションは、既存のすべてのモデルよりも優れたパフォーマンスを示しています。
論文 参考訳(メタデータ) (2021-02-12T15:44:31Z) - Learning End-to-End Action Interaction by Paired-Embedding Data
Augmentation [10.857323240766428]
新しいInteractive Action Translation (IAT)タスクは、ラベルなしのインタラクティブなペアからエンドツーエンドのアクションインタラクションを学ぶことを目的としている。
Paired-Embedding (PE) 法を提案する。
2つのデータセットの実験結果から,本手法の優れた効果と幅広い応用可能性が確認された。
論文 参考訳(メタデータ) (2020-07-16T01:54:16Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳(メタデータ) (2020-07-14T09:29:03Z) - FAIRS -- Soft Focus Generator and Attention for Robust Object
Segmentation from Extreme Points [70.65563691392987]
本稿では,ユーザ入力からオブジェクトのセグメンテーションを極端点と補正クリックの形で生成する手法を提案する。
提案手法は,エクストリームポイント,クリック誘導,修正クリックを原則として組み込んだ,高品質なトレーニングデータを生成する能力とスケーラビリティを実証する。
論文 参考訳(メタデータ) (2020-04-04T22:25:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。