論文の概要: Prompt What You Need: Enhancing Segmentation in Rainy Scenes with
Anchor-based Prompting
- arxiv url: http://arxiv.org/abs/2305.03902v2
- Date: Fri, 12 May 2023 18:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 20:32:53.596817
- Title: Prompt What You Need: Enhancing Segmentation in Rainy Scenes with
Anchor-based Prompting
- Title(参考訳): 必要なプロンプト:アンカーベースのプロンプトによる雨のシーンのセグメンテーション強化
- Authors: Xiaoyu Guo, Xiang Wei, Qi Su, Huiqin Zhao and Shunli Zhang
- Abstract要約: 本稿では,半教師付き学習と事前訓練によるセグメンテーション基礎モデルを用いて,優れた性能を実現する新しいフレームワークを提案する。
提案するフレームワークは,Rainy WCityデータセット上でのセグメンテーション性能に優れ,ICME 2023 Grand ChallengesにおいてSTRAINのサブトラックで1位を獲得している。
- 参考スコア(独自算出の注目度): 8.117532726354344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation in rainy scenes is a challenging task due to the
complex environment, class distribution imbalance, and limited annotated data.
To address these challenges, we propose a novel framework that utilizes
semi-supervised learning and pre-trained segmentation foundation model to
achieve superior performance. Specifically, our framework leverages the
semi-supervised model as the basis for generating raw semantic segmentation
results, while also serving as a guiding force to prompt pre-trained foundation
model to compensate for knowledge gaps with entropy-based anchors. In addition,
to minimize the impact of irrelevant segmentation masks generated by the
pre-trained foundation model, we also propose a mask filtering and fusion
mechanism that optimizes raw semantic segmentation results based on the
principle of minimum risk. The proposed framework achieves superior
segmentation performance on the Rainy WCity dataset and is awarded the first
prize in the sub-track of STRAIN in ICME 2023 Grand Challenges.
- Abstract(参考訳): 雨場のセマンティックセグメンテーションは、複雑な環境、クラス分布の不均衡、限られた注釈付きデータのために難しい課題である。
これらの課題に対処するために,半教師付き学習と事前学習されたセグメンテーション基礎モデルを用いた新しいフレームワークを提案する。
具体的には、半教師付きモデルを利用して生のセグメンテーション結果を生成するとともに、事前訓練された基礎モデルにエントロピーベースのアンカーによる知識ギャップを補うための指導力として機能する。
また,事前学習した基礎モデルが生み出す無関係なセグメンテーションマスクの影響を最小限に抑えるために,最小リスクの原理に基づいて生のセグメンテーション結果を最適化するマスクフィルタリングと融合機構を提案する。
提案するフレームワークは,Rainy WCityデータセット上でのセグメンテーション性能に優れ,ICME 2023 Grand ChallengesにおいてSTRAINのサブトラックで1位を獲得している。
関連論文リスト
- Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳(メタデータ) (2024-09-23T19:05:50Z) - Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation [56.1776710527814]
Weakly Incremental Learning for Semantic (WILSS)は、トレーニング済みのセグメンテーションモデルを利用して、コスト効率と手軽に利用できるイメージレベルのラベルを使用して、新しいクラスをセグメンテーションする。
WILSSを解く最も一般的な方法は、各新しいクラスのシード領域の生成であり、ピクセルレベルの監視の一形態として機能する。
本研究は, 種子領域の挙動を綿密に調整した, 相互排他性に関する革新的, 傾向的関係について提案する。
論文 参考訳(メタデータ) (2024-04-18T08:23:24Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Panoptic Out-of-Distribution Segmentation [11.388678390784195]
連立画素レベルのセマンティック・イン・ディストリビューションとインスタンス予測を用いたアウト・オブ・ディストリビューション分類のためのパノプティカル・アウト・オブ・ディストリビューションを提案する。
データセット、コード、トレーニングされたモデルをhttp://pods.cs.uni-freiburg.deで公開しています。
論文 参考訳(メタデータ) (2023-10-18T08:38:31Z) - Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。
我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。
我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
論文 参考訳(メタデータ) (2023-08-01T10:02:26Z) - Semi-Supervised Confidence-Level-based Contrastive Discrimination for
Class-Imbalanced Semantic Segmentation [1.713291434132985]
我々は,クラス不均衡なセマンティックセグメンテーションの課題に対して,半教師付きコントラスト学習フレームワークを提案する。
提案手法は,3.5%のラベル付きデータで良好なセグメンテーション結果が得られる。
論文 参考訳(メタデータ) (2022-11-28T04:58:27Z) - A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained
Vision-language Model [61.58071099082296]
オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。
本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。
実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2021-12-29T18:56:18Z) - Semi-Supervised Segmentation of Concrete Aggregate Using Consensus
Regularisation and Prior Guidance [2.1749194587826026]
本稿では,事前知識に基づく追加損失を導入する,意味セグメンテーションのための新しい半教師付きフレームワークを提案する。
コンクレート・アグリゲート・データセット(concrete aggregate dataset)を用いた実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2021-04-22T13:01:28Z) - A Simple Baseline for Semi-supervised Semantic Segmentation with Strong
Data Augmentation [74.8791451327354]
セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。
単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。
本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2021-04-15T06:01:39Z) - A Three-Stage Self-Training Framework for Semi-Supervised Semantic
Segmentation [0.9786690381850356]
本稿では,セマンティックセグメンテーションのための3段階の自己学習フレームワークとして,包括的解を提案する。
本手法の鍵となる考え方は擬似マスク統計情報の抽出である。
次に、一貫性を強制するマルチタスクモデルを用いて擬似マスクの不確実性を減少させる。
論文 参考訳(メタデータ) (2020-12-01T21:00:27Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳(メタデータ) (2020-09-08T21:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。