論文の概要: FROST: Faster and more Robust One-shot Semi-supervised Training
- arxiv url: http://arxiv.org/abs/2011.09471v4
- Date: Fri, 4 Dec 2020 14:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 03:20:03.624675
- Title: FROST: Faster and more Robust One-shot Semi-supervised Training
- Title（参考訳）: FROST: より高速でロバストなワンショットセミ教師トレーニング
- Authors: Helena E. Liu and Leslie N. Smith
- Abstract要約: 本稿では,一対一の半教師付き学習手法を提案する。
実験では、ラベルなしデータの構成が不明な場合、FROSTが良好に動作できることを実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in one-shot semi-supervised learning have lowered the barrier
for deep learning of new applications. However, the state-of-the-art for
semi-supervised learning is slow to train and the performance is sensitive to
the choices of the labeled data and hyper-parameter values. In this paper, we
present a one-shot semi-supervised learning method that trains up to an order
of magnitude faster and is more robust than state-of-the-art methods.
Specifically, we show that by combining semi-supervised learning with a
one-stage, single network version of self-training, our FROST methodology
trains faster and is more robust to choices for the labeled samples and changes
in hyper-parameters. Our experiments demonstrate FROST's capability to perform
well when the composition of the unlabeled data is unknown; that is when the
unlabeled data contain unequal numbers of each class and can contain
out-of-distribution examples that don't belong to any of the training classes.
High performance, speed of training, and insensitivity to hyper-parameters make
FROST the most practical method for one-shot semi-supervised training. Our code
is available at https://github.com/HelenaELiu/FROST.
- Abstract（参考訳）: 半教師付き一発学習の最近の進歩は、新しい応用の深層学習の障壁を低くしている。
しかしながら、半教師付き学習の最先端はトレーニングが遅く、ラベル付きデータとハイパーパラメータの値の選択に敏感である。
本稿では,一対一の半教師付き学習手法を提案する。
具体的には,半教師付き学習と,自己学習の1段階の単一ネットワークバージョンを組み合わせることで,より高速に学習し,ラベル付きサンプルの選択やハイパーパラメータの変更に対して頑健であることを示す。
実験では,ラベルなしデータの構成が不明な場合,すなわちラベルなしデータが各クラスの不等数を含み,トレーニングクラスに属さない分布外例を含む場合において,frostがうまく機能することを示す。
ハイパフォーマンス、トレーニング速度、ハイパーパラメータに対する感度はFROSTを一発半教師あり訓練の最も実用的な方法である。
私たちのコードはhttps://github.com/helenaeliu/frostで利用可能です。
関連論文リスト
- One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for
Accelerating BERT Inference [18.456002674399244]
本稿では,SmartBERT と呼ばれる BERT 推論のための動的早期退避と層スキップを併用した新しい動的早期退避法を提案する。
SmartBERTは、いくつかのレイヤを適応的にスキップし、終了するかどうかを適応的に選択できる。
GLUEベンチマークの8つの分類データセットについて実験を行った。
論文 参考訳（メタデータ） (2023-03-16T12:44:16Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2023-02-02T15:49:03Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the
Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。
提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。
以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文 参考訳（メタデータ） (2021-10-26T21:15:17Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent
Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。
MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。
提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
論文 参考訳（メタデータ） (2020-11-30T23:01:04Z) - Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised
Performance [0.0]
本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。
本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。
厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
論文 参考訳（メタデータ） (2020-06-16T17:56:00Z) - Empirical Perspectives on One-Shot Semi-supervised Learning [0.0]
新しいアプリケーションにディープニューラルネットワークを採用する際の最大の障害の1つは、ネットワークのトレーニングが通常、多数の手作業によるトレーニングサンプルを必要とすることである。
ディープネットワークをトレーニングするためには、大量のラベル付きデータにアクセスするが、クラス毎に1つのサンプルのみをラベル付けする必要があるシナリオを実証的に検討する。
論文 参考訳（メタデータ） (2020-04-08T17:51:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。