論文の概要: Mixed-supervised segmentation: Confidence maximization helps knowledge
distillation
- arxiv url: http://arxiv.org/abs/2109.10902v1
- Date: Tue, 21 Sep 2021 20:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-24 15:10:10.757116
- Title: Mixed-supervised segmentation: Confidence maximization helps knowledge
distillation
- Title（参考訳）: 混合監督セグメンテーション:信頼度最大化は知識蒸留に役立つ
- Authors: Bingyuan Liu, Christian Desrosiers, Ismail Ben Ayed, Jose Dolz
- Abstract要約: 本研究では,ディープニューラルネットワークのためのデュアルブランチアーキテクチャを提案する。
上枝(教師)は強い注釈を受け、下枝(学生)は限られた監督によって駆動され、上枝が指導する。
エントロピーとKLの発散の相乗効果は性能を著しく向上させることを示した。
- 参考スコア（独自算出の注目度）: 24.892332859630518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite achieving promising results in a breadth of medical image
segmentation tasks, deep neural networks require large training datasets with
pixel-wise annotations. Obtaining these curated datasets is a cumbersome
process which limits the application in scenarios where annotated images are
scarce. Mixed supervision is an appealing alternative for mitigating this
obstacle, where only a small fraction of the data contains complete pixel-wise
annotations and other images have a weaker form of supervision. In this work,
we propose a dual-branch architecture, where the upper branch (teacher)
receives strong annotations, while the bottom one (student) is driven by
limited supervision and guided by the upper branch. Combined with a standard
cross-entropy loss over the labeled pixels, our novel formulation integrates
two important terms: (i) a Shannon entropy loss defined over the
less-supervised images, which encourages confident student predictions in the
bottom branch; and (ii) a Kullback-Leibler (KL) divergence term, which
transfers the knowledge of the strongly supervised branch to the
less-supervised branch and guides the entropy (student-confidence) term to
avoid trivial solutions. We show that the synergy between the entropy and KL
divergence yields substantial improvements in performance. We also discuss an
interesting link between Shannon-entropy minimization and standard pseudo-mask
generation, and argue that the former should be preferred over the latter for
leveraging information from unlabeled pixels. Quantitative and qualitative
results on two publicly available datasets demonstrate that our method
significantly outperforms other strategies for semantic segmentation within a
mixed-supervision framework, as well as recent semi-supervised approaches.
Moreover, we show that the branch trained with reduced supervision and guided
by the top branch largely outperforms the latter.
- Abstract（参考訳）: 医療画像セグメンテーションタスクにおいて有望な結果を達成するにもかかわらず、ディープニューラルネットワークはピクセル単位のアノテーションを備えた大規模なトレーニングデータセットを必要とする。
これらのキュレートされたデータセットを取得することは、アノテーション付きイメージが不足しているシナリオでのアプリケーションを制限する、面倒なプロセスである。
混合監視は、この障害を緩和するための魅力的な代替手段であり、データのごく一部に完全なピクセル単位のアノテーションが含まれており、他の画像はより弱い監督形態を持つ。
本研究では,上枝(教師)が強いアノテーションを受け取り,下枝(学生)が限られた監督によって駆動され,上枝が指導する二重ブランチアーキテクチャを提案する。
ラベル付き画素に対する標準クロスエントロピー損失と組み合わせることで, 2つの重要な用語を統合する。
(i)低教師画像上で定義されるシャノンエントロピー損失は、底部における自信のある学生予測を奨励するものである。
(ii) 強い教師付き分岐の知識を弱教師付き分岐に伝達し、自明な解を避けるためにエントロピー(学生信頼)項を導くクルバック・リーブラ(KL)発散項。
エントロピーとKLの発散の相乗効果は性能を著しく向上させることを示した。
また、シャノンエントロピー最小化と標準擬似マスク生成の興味深い関係について論じ、ラベルなし画素からの情報を活用するために前者が後者よりも好ましいと主張する。
2つの公開データセットの定量的および定性的な結果から,本手法は混合スーパービジョンフレームワークにおけるセマンティックセグメンテーションの他の戦略,および最近の半教師付きアプローチを著しく上回ることを示す。
さらに, 指導を減らし, トップブランチが指導する分枝は, 主に後者よりも優れていた。
関連論文リスト
- 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳（メタデータ） (2023-11-27T07:57:29Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic
Segmentation [27.831267434546024]
Wevisit the weak-to-strong consistency framework popular by FixMatch from semi-supervised classification。
本稿では,補助的特徴摂動流を補足として提案し,拡張された摂動空間を創出する。
我々のUnified Dual-Stream Perturbationsアプローチ(UniMatch)は、すべての評価プロトコルで既存のメソッドをはるかに上回っています。
論文 参考訳（メタデータ） (2022-08-21T15:32:43Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Flip Learning: Erase to Segment [65.84901344260277]
弱い教師付きセグメンテーション(WSS)は、時間と面倒な手作業のアノテーションを減らすのに役立ちます。
ボックスアノテーションのみを必要とするFlip Learningという,斬新で汎用的なWSSフレームワークを提案する。
提案手法は,完全教師付き学習と弱教師付き学習のギャップを狭める大きな可能性を示す。
論文 参考訳（メタデータ） (2021-08-02T09:56:10Z) - Semi-supervised Semantic Segmentation with Directional Context-aware
Consistency [66.49995436833667]
我々は、ラベル付きデータの小さなセットに、全くラベル付けされていない画像のより大きなコレクションを提供する半教師付きセグメンテーション問題に焦点をあてる。
好ましいハイレベル表現は、自己認識を失わずにコンテキスト情報をキャプチャするべきである。
我々は,DCロス(Directional Contrastive Loss)を画素対ピクセルの整合性を達成するために提示する。
論文 参考訳（メタデータ） (2021-06-27T03:42:40Z) - Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly
Supervised Semantic Segmentation [16.560870740946275]
EPS (Explicit Pseudo-Pixel Supervision) は2つの弱い監督と組み合わせることでピクセルレベルのフィードバックから学習する。
両情報間の補完関係を完全に活用するための共同学習戦略を考案する。
提案手法は, 正確なオブジェクト境界を求め, 共起画素を破棄することにより, 擬似マスクの品質を大幅に向上させることができる。
論文 参考訳（メタデータ） (2021-05-19T07:31:11Z) - Teach me to segment with mixed supervision: Confident students become
masters [27.976487552313113]
ディープセグメンテーションニューラルネットワークは、ピクセル単位のセグメンテーションを持つ大規模なトレーニングデータセットを必要とする。
本稿では,上枝(教師)が強いアノテーションを受け取り,下枝(学生)が限られた監督によって駆動され,上枝が指導する二重ブランチアーキテクチャを提案する。
本手法は,混合スーパービジョンフレームワークにおけるセマンティクスセグメンテーションに取り組むための他の戦略を著しく上回っていることを示す。
論文 参考訳（メタデータ） (2020-12-15T02:51:36Z) - Self-paced and self-consistent co-training for semi-supervised image
segmentation [23.100800154116627]
注釈付きデータが不足している場合のイメージセグメンテーションに有効な手法として、ディープコトレーニングが提案されている。
本稿では, 半教師付きセグメンテーションの既存手法を, 自己完結型・自己整合型協調学習法により改良する。
論文 参考訳（メタデータ） (2020-10-31T17:41:03Z) - A Weakly-Supervised Semantic Segmentation Approach based on the Centroid
Loss: Application to Quality Control and Inspection [6.101839518775968]
本稿では,新しい損失関数を用いた弱教師付きセマンティックセマンティックセマンティクス手法の提案と評価を行う。
アプローチのパフォーマンスは,2つの業界関連ケーススタディのデータセットに対して評価される。
論文 参考訳（メタデータ） (2020-10-26T09:08:21Z) - Self-supervised Equivariant Attention Mechanism for Weakly Supervised
Semantic Segmentation [93.83369981759996]
本稿では,自己監督同変注意機構(SEAM)を提案する。
本手法は,完全教師付きセマンティックセグメンテーションにおいて,同値が暗黙の制約であることを示す。
本稿では,ネットワーク学習のための自己スーパービジョンを提供するために,様々な変換画像から予測されたCAMの整合性正則化を提案する。
論文 参考訳（メタデータ） (2020-04-09T14:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。