論文の概要: Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training
of Image Segmentation Models
- arxiv url: http://arxiv.org/abs/2207.03335v1
- Date: Mon, 4 Jul 2022 13:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-09 08:41:30.507331
- Title: Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training
of Image Segmentation Models
- Title（参考訳）: 画像分割モデルの弱教師付き事前学習における説明の蒸留アンサンブル
- Authors: Xuhong Li, Haoyi Xiong, Yi Liu, Dingfu Zhou, Zeyu Chen, Yaqing Wang,
Dejing Dou
- Abstract要約: 本稿では,分類データセットに基づく画像分割モデルのエンドツーエンド事前学習を可能にする手法を提案する。
提案手法は重み付きセグメンテーション学習法を利用して,重み付きセグメンテーションネットワークを事前訓練する。
実験の結果,ImageNetにソースデータセットとしてPSSLを伴って提案されたエンドツーエンドの事前トレーニング戦略が,さまざまなセグメンテーションモデルの性能向上に成功していることがわかった。
- 参考スコア（独自算出の注目度）: 54.49581189337848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While fine-tuning pre-trained networks has become a popular way to train
image segmentation models, such backbone networks for image segmentation are
frequently pre-trained using image classification source datasets, e.g.,
ImageNet. Though image classification datasets could provide the backbone
networks with rich visual features and discriminative ability, they are
incapable of fully pre-training the target model (i.e., backbone+segmentation
modules) in an end-to-end manner. The segmentation modules are left to random
initialization in the fine-tuning process due to the lack of segmentation
labels in classification datasets. In our work, we propose a method that
leverages Pseudo Semantic Segmentation Labels (PSSL), to enable the end-to-end
pre-training for image segmentation models based on classification datasets.
PSSL was inspired by the observation that the explanation results of
classification models, obtained through explanation algorithms such as CAM,
SmoothGrad and LIME, would be close to the pixel clusters of visual objects.
Specifically, PSSL is obtained for each image by interpreting the
classification results and aggregating an ensemble of explanations queried from
multiple classifiers to lower the bias caused by single models. With PSSL for
every image of ImageNet, the proposed method leverages a weighted segmentation
learning procedure to pre-train the segmentation network en masse. Experiment
results show that, with ImageNet accompanied by PSSL as the source dataset, the
proposed end-to-end pre-training strategy successfully boosts the performance
of various segmentation models, i.e., PSPNet-ResNet50, DeepLabV3-ResNet50, and
OCRNet-HRNetW18, on a number of segmentation tasks, such as CamVid, VOC-A,
VOC-C, ADE20K, and CityScapes, with significant improvements. The source code
is availabel at https://github.com/PaddlePaddle/PaddleSeg.
- Abstract（参考訳）: 訓練済みの微調整ネットワークはイメージセグメンテーションモデルをトレーニングする一般的な方法となっているが、画像セグメンテーションのためのバックボーンネットワークは画像分類ソースデータセット(例えば ImageNet)を使用して事前トレーニングされることが多い。
画像分類データセットは、リッチな視覚的特徴と識別能力を持つバックボーンネットワークを提供することができるが、ターゲットモデル(すなわちbackbone+segmentationモジュール)をエンドツーエンドで完全に事前学習することはできない。
セグメンテーションモジュールは、分類データセットにおけるセグメンテーションラベルの欠如により、微調整プロセスのランダム初期化に残される。
本研究では,Pseudo Semantic Segmentation Labels(PSSL)を用いて,分類データセットに基づく画像分割モデルのエンドツーエンド事前学習を可能にする手法を提案する。
PSSLは、CAM、SmoothGrad、LIMEなどの説明アルゴリズムによって得られた分類モデルの説明結果が、視覚オブジェクトのピクセルクラスタに近くなるという観察にインスパイアされた。
具体的には、分類結果を解釈し、複数の分類器からクエリされた説明の集合を集約することにより、各画像に対してPSSLを求め、単一のモデルによるバイアスを低くする。
画像ネットの全ての画像に対するpsslを用いて,提案手法は重み付きセグメント化学習手順を活用し,セグメント化ネットワークの事前学習を行う。
実験の結果、ImageNetはソースデータセットとしてPSSLを伴い、提案されたエンドツーエンドの事前トレーニング戦略により、CamVid、VOC-A、VOC-C、ADE20K、CityScapesなどのセグメンテーションタスクにおいて、様々なセグメンテーションモデル、すなわちPSPNet-ResNet50、DeepLabV3-ResNet50、OCRNet-HRNetW18のパフォーマンスを向上することに成功した。
ソースコードはhttps://github.com/PaddlePaddle/PaddleSeg.comにある。
関連論文リスト
- UnSeg: One Universal Unlearnable Example Generator is Enough against All Image Segmentation [64.01742988773745]
未承認のプライベートデータ上での大規模なイメージセグメンテーションモデルのトレーニングに関して、プライバシーに関する懸念が高まっている。
我々は、学習不可能な例の概念を利用して、学習不可能なノイズを原画像に生成し、付加することにより、モデルトレーニングに使用不能な画像を作成する。
6つのメインストリームイメージセグメンテーションタスク、10つの広く使われているデータセット、7つの異なるネットワークアーキテクチャでUnSegの有効性を実証的に検証する。
論文 参考訳（メタデータ） (2024-10-13T16:34:46Z) - SegCLIP: Patch Aggregation with Learnable Centers for Open-Vocabulary
Semantic Segmentation [26.079055078561986]
オープン語彙セグメンテーションのためのCLIPベースのSegCLIPモデルを提案する。
主なアイデアは、テキストイメージペアのトレーニングを通じて、学習可能な中心をセマンティック領域に集めることである。
実験結果から,本モデルでは高いセグメンテーション精度が得られた。
論文 参考訳（メタデータ） (2022-11-27T12:38:52Z) - Remote Sensing Images Semantic Segmentation with General Remote Sensing
Vision Model via a Self-Supervised Contrastive Learning Method [13.479068312825781]
リモートセマンティックセグメンテーションのためのGlobal style and Local matching Contrastive Learning Network (GLCNet)を提案する。
具体的には、画像レベルの表現をより良く学習するために、グローバルスタイルのコントラストモジュールが使用される。
コントラストモジュールにマッチするローカル特徴は、セマンティックセグメンテーションに有用なローカル領域の表現を学習するために設計されている。
論文 参考訳（メタデータ） (2021-06-20T03:03:40Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳（メタデータ） (2021-06-08T06:13:11Z) - Half-Real Half-Fake Distillation for Class-Incremental Semantic
Segmentation [84.1985497426083]
畳み込みニューラルネットワークは漸進的な学習に不適である。
新しいクラスは利用できるが、初期トレーニングデータは保持されない。
訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
論文 参考訳（メタデータ） (2021-04-02T03:47:16Z) - Recursive Training for Zero-Shot Semantic Segmentation [26.89352005206994]
ゼロショット設定のためのセマンティックセグメンテーションモデルの再学習を指導する訓練手法を提案する。
提案モデルがPascal-VOC 2012データセットとPascal-Contextデータセットで最新のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2021-02-26T23:44:16Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。
相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。
PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2020-03-24T04:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。