論文の概要: Semi-Supervised Semantic Segmentation with Cross Teacher Training
- arxiv url: http://arxiv.org/abs/2209.01327v1
- Date: Sat, 3 Sep 2022 05:02:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:49:52.123803
- Title: Semi-Supervised Semantic Segmentation with Cross Teacher Training
- Title(参考訳): クロストレーニングによる半監督セマンティックセマンティックセグメンテーション
- Authors: Hui Xiao, Li Dong, Kangkang Song, Hao Xu, Shuibo Fu, Diqun Yan,
Chengbin Peng
- Abstract要約: 本研究は,従来の半教師あり学習アプローチを大幅に改善する3つのモジュールを用いた教員間学習フレームワークを提案する。
コアはクロス教師モジュールであり、ピアネットワーク間の結合と教師と学生ネットワーク間のエラー蓄積を同時に低減することができる。
高レベルモジュールはラベル付きデータからラベルなしデータに高品質な知識を転送し、特徴空間におけるクラス間の分離を促進する。
低レベルのモジュールは、ピアネットワーク間の高品質な機能から学習する低品質の機能を促進することができる。
- 参考スコア(独自算出の注目度): 14.015346488847902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks can achieve remarkable performance in semantic
segmentation tasks. However, such neural network approaches heavily rely on
costly pixel-level annotation. Semi-supervised learning is a promising
resolution to tackle this issue, but its performance still far falls behind the
fully supervised counterpart. This work proposes a cross-teacher training
framework with three modules that significantly improves traditional
semi-supervised learning approaches. The core is a cross-teacher module, which
could simultaneously reduce the coupling among peer networks and the error
accumulation between teacher and student networks. In addition, we propose two
complementary contrastive learning modules. The high-level module can transfer
high-quality knowledge from labeled data to unlabeled ones and promote
separation between classes in feature space. The low-level module can encourage
low-quality features learning from the high-quality features among peer
networks. In experiments, the cross-teacher module significantly improves the
performance of traditional student-teacher approaches, and our framework
outperforms stateof-the-art methods on benchmark datasets. Our source code of
CTT will be released.
- Abstract(参考訳): 畳み込みニューラルネットワークはセマンティックセグメンテーションタスクにおいて顕著な性能を達成することができる。
しかし、そのようなニューラルネットワークアプローチはコストの高いピクセルレベルのアノテーションに大きく依存している。
半教師付き学習はこの問題に対処するための有望な解決だが、その性能は依然として完全に教師付き学習に遅れている。
本研究は,従来の半教師学習アプローチを大幅に改善する3つのモジュールによる教師間トレーニングフレームワークを提案する。
コアはクロス教師モジュールであり、ピアネットワーク間の結合と教師と学生ネットワーク間のエラー蓄積を同時に低減することができる。
さらに,相補的なコントラスト学習モジュールを2つ提案する。
高レベルモジュールはラベル付きデータからラベルなしデータに高品質な知識を転送し、特徴空間におけるクラス間の分離を促進する。
低レベルモジュールは、ピアネットワーク間の高品質な機能から学ぶ低品質の機能を促進する。
実験では、cross-teacherモジュールが従来の学生-教師のアプローチのパフォーマンスを大幅に向上させ、ベンチマークデータセットで最先端のメソッドを上回っています。
cttのソースコードがリリースされます。
関連論文リスト
- Competitive Ensembling Teacher-Student Framework for Semi-Supervised
Left Atrium MRI Segmentation [8.338801567668233]
半教師付き学習は、専門家から豊富な注釈を取得する必要性を効果的に軽減するため、医療画像のセグメンテーションが大幅に進歩している。
本稿では,3次元MR画像から左心房分節を半教師する簡易で効率的な競争力のある教員養成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-21T09:23:34Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - When CNN Meet with ViT: Towards Semi-Supervised Learning for Multi-Class
Medical Image Semantic Segmentation [13.911947592067678]
本稿では,一貫性を意識した擬似ラベルに基づく自己認識手法を提案する。
我々のフレームワークは、ViTとCNNによって相互に強化された特徴学習モジュールと、一貫性を意識した目的のために堅牢なガイダンスモジュールから構成されている。
実験により,提案手法は,公開ベンチマークデータセット上での最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2022-08-12T18:21:22Z) - Learning Modular Structures That Generalize Out-of-Distribution [1.7034813545878589]
本稿では、O.O.D.の一般化手法について述べる。トレーニングを通じて、複数のトレーニング領域にまたがってよく再利用されるネットワークの機能のみをモデルが保持することを奨励する。
本手法は,2つの相補的ニューロンレベル正規化器とネットワーク上の確率的微分可能なバイナリマスクを組み合わせることで,元のネットワークよりも優れたO.O.D.性能を実現するモジュールサブネットワークを抽出する。
論文 参考訳(メタデータ) (2022-08-07T15:54:19Z) - Deep Image Clustering with Contrastive Learning and Multi-scale Graph
Convolutional Networks [58.868899595936476]
コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。
複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
論文 参考訳(メタデータ) (2022-07-14T19:16:56Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳(メタデータ) (2021-12-17T11:56:56Z) - A Combinatorial Perspective on Transfer Learning [27.7848044115664]
モジュラーソリューションの学習によって、目に見えない分散データと潜在的に異なる分散データの両方を効果的に一般化することができるかを検討する。
タスクセグメンテーション,モジュール型学習,メモリベースアンサンブルの組み合わせによって,指数関数的に増加する多くの未確認タスクの一般化がもたらされる。
論文 参考訳(メタデータ) (2020-10-23T09:53:31Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z) - Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。
本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。
我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文 参考訳(メタデータ) (2020-03-23T08:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。