論文の概要: A Studious Approach to Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2109.08924v1
- Date: Sat, 18 Sep 2021 12:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:29:39.940336
- Title: A Studious Approach to Semi-Supervised Learning
- Title（参考訳）: 半教師付き学習へのstudiousアプローチ
- Authors: Sahil Khose, Shruti Jain, V Manushree
- Abstract要約: 本論文は半教師付き環境での蒸留のアブレーション研究である。
モデルのパラメータ数を削減しますが、パフォーマンスを改善しながらこれを達成することができます。
これにより、半教師付きコンピュータビジョンタスクの性能を高める効果的なソリューションとしての蒸留の可能性がもたらされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of learning from few labeled examples while using large amounts
of unlabeled data has been approached by various semi-supervised methods.
Although these methods can achieve superior performance, the models are often
not deployable due to the large number of parameters. This paper is an ablation
study of distillation in a semi-supervised setting, which not just reduces the
number of parameters of the model but can achieve this while improving the
performance over the baseline supervised model and making it better at
generalizing. After the supervised pretraining, the network is used as a
teacher model, and a student network is trained over the soft labels that the
teacher model generates over the entire unlabeled data. We find that the fewer
the labels, the more this approach benefits from a smaller student network.
This brings forward the potential of distillation as an effective solution to
enhance performance in semi-supervised computer vision tasks while maintaining
deployability.
- Abstract（参考訳）: ラベルなしデータを大量に使用しながら、ラベル付き例から学習する問題は、様々な半教師付き手法によってアプローチされてきた。
これらの手法は優れた性能を達成することができるが、多くのパラメータのためにモデルが展開できないことが多い。
本論文は, 半教師付き環境下での蒸留のアブレーション研究であり, モデルのパラメータ数を削減できるだけでなく, ベースライン教師付きモデルよりも性能を向上し, 一般化の促進を図ることができる。
教師付きプレトレーニング後、教師モデルとしてネットワークを使用し、教師モデルが未ラベルデータ全体にわたって生成するソフトラベルに基づいて学生ネットワークを訓練する。
ラベルが少なくなればなるほど、このアプローチはより小さな学生ネットワークの恩恵を受ける。
これにより、半教師付きコンピュータビジョンタスクのパフォーマンス向上のための効果的なソリューションとしての蒸留の可能性が高まり、デプロイ性が維持される。
関連論文リスト
- Faithful Label-free Knowledge Distillation [8.572967695281054]
本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。
より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
論文 参考訳（メタデータ） (2024-11-22T01:48:44Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Efficiently Robustify Pre-trained Models [18.392732966487582]
大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。
まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。
続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
論文 参考訳（メタデータ） (2023-09-14T08:07:49Z) - SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。
SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。
ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-08T00:14:44Z) - Weighted Distillation with Unlabeled Examples [15.825078347452024]
ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。
本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
論文 参考訳（メタデータ） (2022-10-13T04:08:56Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳（メタデータ） (2022-03-22T20:24:21Z) - Beyond Self-Supervision: A Simple Yet Effective Network Distillation
Alternative to Improve Backbones [40.33419553042038]
既製のトレーニング済み大型モデルからナレッジ蒸留による既存ベースラインネットワークの改善を提案します。
本ソリューションは,教師モデルと整合した学生モデルの予測のみを駆動することにより,蒸留を行う。
例えば、MobileNetV3-large と ResNet50-D の ImageNet-1k 検証セットにおけるトップ-1 の精度は、大幅に向上できる。
論文 参考訳（メタデータ） (2021-03-10T09:32:44Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。
具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:17:01Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳（メタデータ） (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。