論文の概要: Boundary Knowledge Translation based Reference Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2108.01075v1
- Date: Sun, 1 Aug 2021 07:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 01:07:19.536385
- Title: Boundary Knowledge Translation based Reference Semantic Segmentation
- Title(参考訳): 境界知識翻訳に基づく参照意味セグメンテーション
- Authors: Lechao Cheng, Zunlei Feng, Xinchao Wang, Ya Jie Liu, Jie Lei, Mingli
Song
- Abstract要約: 視覚境界知識翻訳を行うための参照参照セグメンテーションネットワーク(Ref-Net)を導入する。
人間の認識機構にインスパイアされたRTMTMは、参照オブジェクトの特徴に基づいて、同じカテゴリオブジェクトをセグメント化するだけに考案されている。
Ref-Netは、数十の細かい注釈付きサンプルをガイダンスとして、完全に教師された6つのデータセットのメソッドと同等の結果を得る。
- 参考スコア(独自算出の注目度): 62.60078935335371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a reference object of an unknown type in an image, human observers can
effortlessly find the objects of the same category in another image and
precisely tell their visual boundaries. Such visual cognition capability of
humans seems absent from the current research spectrum of computer vision.
Existing segmentation networks, for example, rely on a humongous amount of
labeled data, which is laborious and costly to collect and annotate; besides,
the performance of segmentation networks tend to downgrade as the number of the
category increases. In this paper, we introduce a novel Reference semantic
segmentation Network (Ref-Net) to conduct visual boundary knowledge
translation. Ref-Net contains a Reference Segmentation Module (RSM) and a
Boundary Knowledge Translation Module (BKTM). Inspired by the human recognition
mechanism, RSM is devised only to segment the same category objects based on
the features of the reference objects. BKTM, on the other hand, introduces two
boundary discriminator branches to conduct inner and outer boundary
segmentation of the target objectin an adversarial manner, and translate the
annotated boundary knowledge of open-source datasets into the segmentation
network. Exhaustive experiments demonstrate that, with tens of finely-grained
annotated samples as guidance, Ref-Net achieves results on par with fully
supervised methods on six datasets.
- Abstract(参考訳): 画像中の未知のタイプの参照オブジェクトが与えられた場合、人間の観察者は、他の画像で同じカテゴリのオブジェクトを見つけ、その視覚的境界を正確に判断することができる。
このような人間の視覚認知能力は、現在のコンピュータビジョンの研究スペクトルに欠如しているように見える。
例えば、既存のセグメンテーションネットワークは、膨大な量のラベル付きデータを頼りにしており、収集や注釈に手間がかかり、またセグメンテーションネットワークのパフォーマンスはカテゴリの数が増えるにつれて低下する傾向にある。
本稿では,視覚境界知識翻訳を行うための参照セマンティックセマンティックネットワーク(Ref-Net)を提案する。
Ref-Netには参照セグメンテーションモジュール(RSM)と境界知識翻訳モジュール(BKTM)が含まれている。
人間の認識機構にインスパイアされたrsmは、参照オブジェクトの特徴に基づいて同じカテゴリオブジェクトをセグメンテーションするためにのみ考案された。
一方、BKTMでは、2つの境界識別器の分岐を導入し、対象オブジェクトの内部および外部の境界セグメンテーションを対角的に行い、オープンソースデータセットの注釈付き境界知識をセグメンテーションネットワークに変換する。
発掘実験では、数十の細かい注釈付きサンプルをガイダンスとして、Ref-Netは6つのデータセットの完全な教師付きメソッドと同等の結果を得ることを示した。
関連論文リスト
- Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification [0.5572976467442564]
本稿では,オブジェクト検出から得られたセマンティック情報とセマンティックセグメンテーション技術の両方を用いる。
セグメンテーションマスクを用いて,Hu-Moments Features (SHMFs)によって指定されたHu-Momentsベースのセグメンテーションカテゴリの形状特徴を提供する手法を提案する。
GOS$2$F$2$Appによって指定された3つのメインブランチネットワークも提案されている。
論文 参考訳(メタデータ) (2024-04-11T13:37:51Z) - SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object
and Boundary Constraints [9.238103649037951]
本稿では,SAM生成オブジェクト(SGO)とSAM生成境界(SGB)という2つの新しい概念を活用することにより,SAMの生出力を活用するフレームワークを提案する。
本稿では,SGOのコンテンツ特性を考慮し,セマンティックな情報を持たないセグメンテーション領域を活用するために,オブジェクト整合性の概念を導入する。
境界損失は、モデルが対象の境界情報に注意を向けることによって、SGBの特徴的な特徴に重きを置いている。
論文 参考訳(メタデータ) (2023-12-05T03:33:47Z) - Lidar Panoptic Segmentation and Tracking without Bells and Whistles [48.078270195629415]
ライダーセグメンテーションと追跡のための検出中心ネットワークを提案する。
私たちのネットワークのコアコンポーネントの1つは、オブジェクトインスタンス検出ブランチです。
提案手法を複数の3D/4D LPSベンチマークで評価し,我々のモデルがオープンソースモデル間で新たな最先端性を確立することを確認した。
論文 参考訳(メタデータ) (2023-10-19T04:44:43Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳(メタデータ) (2023-07-07T04:03:48Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳(メタデータ) (2022-07-18T09:20:04Z) - Visual Boundary Knowledge Translation for Foreground Segmentation [57.32522585756404]
視覚境界知識を明示的に考慮したモデルの構築を試みており、未確認カテゴリのセグメンテーションにおけるトレーニングの労力を減らそうとしている。
数十のラベル付きサンプルをガイダンスとして使うだけで、Trans-Netは完全な教師付きメソッドと同等のクローズな結果が得られる。
論文 参考訳(メタデータ) (2021-08-01T07:10:25Z) - Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
論文 参考訳(メタデータ) (2020-04-14T02:32:10Z) - Universal-RCNN: Universal Object Detector via Transferable Graph R-CNN [117.80737222754306]
我々はUniversal-RCNNと呼ばれる新しいユニバーサルオブジェクト検出器を提案する。
まず、すべてのカテゴリの高レベルなセマンティック表現を統合することで、グローバルなセマンティックプールを生成する。
ドメイン内推論モジュールは、空間認識GCNによってガイドされる1つのデータセット内のスパースグラフ表現を学習し、伝播する。
論文 参考訳(メタデータ) (2020-02-18T07:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。