論文の概要: Robust Mutual Learning for Semi-supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2106.00609v1
• Date: Tue, 1 Jun 2021 16:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:15:26.772706
• Title: Robust Mutual Learning for Semi-supervised Semantic Segmentation
• Title（参考訳）: 半教師付きセマンティックセグメンテーションのためのロバスト相互学習
• Authors: Pan Zhang, Bo Zhang, Ting Zhang, Dong Chen, Fang Wen
• Abstract要約: 従来のアプローチを2つの側面で改善する頑健な相互学習を提案する。 モデル結合を緩和するためには、強いデータ拡張、モデルノイズ、異種ネットワークアーキテクチャが不可欠であることを示す。 提案した頑健な相互学習は、低データ状態におけるセマンティックセグメンテーションにおける最先端のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 23.54885398483688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent semi-supervised learning (SSL) methods are commonly based on pseudo labeling. Since the SSL performance is greatly influenced by the quality of pseudo labels, mutual learning has been proposed to effectively suppress the noises in the pseudo supervision. In this work, we propose robust mutual learning that improves the prior approach in two aspects. First, the vanilla mutual learners suffer from the coupling issue that models may converge to learn homogeneous knowledge. We resolve this issue by introducing mean teachers to generate mutual supervisions so that there is no direct interaction between the two students. We also show that strong data augmentations, model noises and heterogeneous network architectures are essential to alleviate the model coupling. Second, we notice that mutual learning fails to leverage the network's own ability for pseudo label refinement. Therefore, we introduce self-rectification that leverages the internal knowledge and explicitly rectifies the pseudo labels before the mutual teaching. Such self-rectification and mutual teaching collaboratively improve the pseudo label accuracy throughout the learning. The proposed robust mutual learning demonstrates state-of-the-art performance on semantic segmentation in low-data regime.
• Abstract（参考訳）: 最近の半教師付き学習(SSL)法は一般に擬似ラベリングに基づいている。 SSL性能は擬似ラベルの品質に大きく影響されているため,疑似監視における雑音を効果的に抑制するための相互学習が提案されている。 本研究では,従来のアプローチを2つの側面で改善する頑健な相互学習を提案する。 まず、バニラ相互学習者は、モデルが均質な知識を学ぶために収束するかもしれない結合の問題に苦しむ。 この問題は,教師同士の直接の交流がないように,教師同士の相互監督を生み出すことによって解決する。 また,モデル結合の緩和には強固なデータ拡張,モデルノイズ,異種ネットワークアーキテクチャが不可欠であることを示す。 第2に,相互学習はネットワークの擬似ラベル改良能力の活用に失敗していることに気付く。 そこで,本研究では,内部知識を活用し,相互指導前の擬似ラベルを明示的に修正する自己認識を導入する。 このような自己修正と相互指導によって、学習を通して擬似ラベルの精度が向上する。 提案した頑健な相互学習は、低データ状態におけるセマンティックセグメンテーションにおける最先端のパフォーマンスを示す。

関連論文リスト

• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need [34.013568381942775]
  Self-Supervised Learning (SSL)は、ラベルのないデータから転送可能な表現を学習する選択肢のソリューションとして登場した。 本研究では,この原理を正のアクティブラーニング(PAL)によって形式化し,一般化する。 まず、SSLを超えて理論的に基礎を成す学習フレームワークを公開し、類似性グラフに基づいて、採用するオラクルに応じて教師付きおよび半教師付き学習に取り組むように拡張する。 第二に、事前知識、例えばいくつかのラベルをトレーニングパイプラインの変更なしにSSL損失に組み込むための一貫したアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-03-27T14:44:39Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Co-learning: Learning from Noisy Labels with Self-supervision [28.266156561454327]
  自己教師付き学習はラベルのない状態で機能し、ノイズラベルの負の影響を排除します。 教師付き学習と自己監督型学習の両方の視点で協調学習を行うことで、ノイズラベルを用いた学習のためのコラーニングという、シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-08-05T06:20:51Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Bidirectional Mapping Coupled GAN for Generalized Zero-Shot Learning [7.22073260315824]
  双方向マッピングに基づく一般化ゼロショット学習(gzsl)手法は,参照データと未認識データを認識するための合成特徴の品質に依存する。 既知領域の合同分布を学習し,これらの手法においてドメイン識別の保持が重要である。 本研究では,可視クラスセマンティクスと可視クラスセマンティクスを併用し,強い視覚的セマンティック結合を通じて関節分布を学習する。
  論文  参考訳（メタデータ） (2020-12-30T06:11:29Z)
• Noisy Concurrent Training for Efficient Learning under Label Noise [13.041607703862724]
  ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。 我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。 協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
  論文  参考訳（メタデータ） (2020-09-17T14:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。