論文の概要: Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework

• arxiv url: http://arxiv.org/abs/2110.01253v1
• Date: Mon, 4 Oct 2021 08:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:31:25.850611
• Title: Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework
• Title（参考訳）: 空間的アンサンブル:学生教師のための新しいモデル平滑化機構
• Authors: Tengteng Huang, Yifan Sun, Xun Wang, Haotian Yao, Chi Zhang
• Abstract要約: 空間アンサンブル(Spatial Ensemble)は、時間移動平均と平行して平滑化する新しいモデルである。 歴史的学生モデルの異なる断片を統一に縫い付け、「空間的アンサンブル」効果をもたらす。 彼らの統合はSpatial-Temporal Smoothingと呼ばれ、学生-教師の学習フレームワークに一般的な(時には重要な)改善をもたらす。
• 参考スコア（独自算出の注目度）: 39.44523908176695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model smoothing is of central importance for obtaining a reliable teacher model in the student-teacher framework, where the teacher generates surrogate supervision signals to train the student. A popular model smoothing method is the Temporal Moving Average (TMA), which continuously averages the teacher parameters with the up-to-date student parameters. In this paper, we propose "Spatial Ensemble", a novel model smoothing mechanism in parallel with TMA. Spatial Ensemble randomly picks up a small fragment of the student model to directly replace the corresponding fragment of the teacher model. Consequentially, it stitches different fragments of historical student models into a unity, yielding the "Spatial Ensemble" effect. Spatial Ensemble obtains comparable student-teacher learning performance by itself and demonstrates valuable complementarity with temporal moving average. Their integration, named Spatial-Temporal Smoothing, brings general (sometimes significant) improvement to the student-teacher learning framework on a variety of state-of-the-art methods. For example, based on the self-supervised method BYOL, it yields +0.9% top-1 accuracy improvement on ImageNet, while based on the semi-supervised approach FixMatch, it increases the top-1 accuracy by around +6% on CIFAR-10 when only few training labels are available. Codes and models are available at: https://github.com/tengteng95/Spatial_Ensemble.
• Abstract（参考訳）: モデルスムーシングは、教師が教師の指導のために監視信号を生成する学生-教師の枠組みにおいて、信頼性の高い教師モデルを得る上で重要である。 一般的なモデル平滑化手法は時間移動平均(tma)であり、教師のパラメータと最新の生徒パラメータを連続的に平均する。 本稿では,新しいモデル平滑化機構であるSpatial EnsembleをTMAと並列に提案する。 空間的アンサンブルは、生徒モデルの小さな断片をランダムにピックアップして、対応する教師モデルの断片を直接置き換えます。 結果として、異なる歴史学生モデルの断片を統一に縫い付け、「空間的アンサンブル」効果をもたらす。 空間的アンサンブルは、それと同等の学生・教師の学習性能を獲得し、時間的移動平均と価値ある相補性を示す。 彼らの統合は、Spatial-Temporal Smoothingと名付けられ、様々な最先端の手法で学生の学習フレームワークに一般的な(時には重要な)改善をもたらす。 例えば、byolの自己教師ありメソッドに基づいてimagenetで+0.9% top-1精度が向上する一方で、半教師付きアプローチフィクスマッチに基づいて、わずかのトレーニングラベルが利用可能な場合、cifar-10でtop-1精度が約+6%向上する。 コードとモデルは、https://github.com/tengteng95/Spatial_Ensemble.comで入手できる。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation [15.97351561456467]
  コラボレーティブ・ラーニング(Collaborative Learning)とは、学生モデルを用いて教師の非塩分パラメータを更新し、同時に生徒のパフォーマンスを向上させる手法である。 CLDAは、教師の+0.7% mIoUと生徒の+1.4% mIoUを、GTAのベースラインモデルとシティスケープのベースラインモデルに比較して改善する。
  論文  参考訳（メタデータ） (2024-09-04T13:35:15Z)
• Fishers Harvest Parallel Unlearning in Inherited Model Networks [26.47424619448623]
  本稿では、継承を示すモデル間で完全に並列なアンラーニングを可能にする、新しいアンラーニングフレームワークを提案する。 重要なイネーブルは、新しいUMIG(Unified Model Inheritance Graph)であり、DAG(Directed Acyclic Graph)を使用して継承をキャプチャする。 我々のフレームワークは、代替手法と比較して、アンラーニングを99%高速化します。
  論文  参考訳（メタデータ） (2024-08-16T02:29:38Z)
• Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
  Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:30:54Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning [7.94190631530826]
  トレーニングプロセスの効率を最大化するためには、アクティブラーニング(AL)がますます重要になっている。 学生教師の一貫性に基づくALアルゴリズム(ST-CoNAL)を提案する。 CIFAR-10、CIFAR-100、Caltech-256、Tiny ImageNetの画像分類タスクに対して行われた実験は、提案したSTCoNALが既存の取得方法よりも大幅に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-05T17:25:59Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。