論文の概要: Better Self-training for Image Classification through Self-supervision

• arxiv url: http://arxiv.org/abs/2109.00778v1
• Date: Thu, 2 Sep 2021 08:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 23:11:59.350584
• Title: Better Self-training for Image Classification through Self-supervision
• Title（参考訳）: 自己監督による画像分類のためのより良い自己学習
• Authors: Attaullah Sahito, Eibe Frank, and Bernhard Pfahringer
• Abstract要約: 自己監督(Self-supervision)は、自動生成されたプレテキストタスクを解決し、手動による監督なしに学習することである。 本稿では,画像分類の精度を高めるために,自己訓練に自己監督を取り入れる3つの方法について検討する。
• 参考スコア（独自算出の注目度）: 3.492636597449942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-training is a simple semi-supervised learning approach: Unlabelled examples that attract high-confidence predictions are labelled with their predictions and added to the training set, with this process being repeated multiple times. Recently, self-supervision -- learning without manual supervision by solving an automatically-generated pretext task -- has gained prominence in deep learning. This paper investigates three different ways of incorporating self-supervision into self-training to improve accuracy in image classification: self-supervision as pretraining only, self-supervision performed exclusively in the first iteration of self-training, and self-supervision added to every iteration of self-training. Empirical results on the SVHN, CIFAR-10, and PlantVillage datasets, using both training from scratch, and Imagenet-pretrained weights, show that applying self-supervision only in the first iteration of self-training can greatly improve accuracy, for a modest increase in computation time.
• Abstract（参考訳）: 自己学習は単純な半教師付き学習アプローチである: 高信頼の予測を惹きつける未学習例は、予測と共にラベル付けされ、トレーニングセットに追加され、このプロセスは何度も繰り返される。 近年,手動による教師なしの学習が深層学習において注目されている。 本稿では,自己視を自己訓練に取り入れ,画像分類の精度を向上させる3つの方法を検討した。 SVHN, CIFAR-10, PlantVillageのデータセットをスクラッチからトレーニングし, Imagenetで事前トレーニングした重みを併用した実験結果から, 自己学習の第1イテレーションにのみセルフスーパービジョンを適用することにより, 計算時間がわずかに向上することを示す。

関連論文リスト

• A Comparative Study of Pre-training and Self-training [0.40964539027092917]
  本研究では,事前学習,自己学習,微調整を併用した,実現可能な訓練パラダイムを実証的に研究するためのアンサンブル手法を提案する。 我々は6つのデータセット、4つのデータ拡張、感情分析と自然言語推論タスクのための不均衡なデータについて実験を行った。 以上の結果から,事前学習と微調整のパラダイムが全体のパフォーマンスに最高の結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2024-09-04T14:30:13Z)
• Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods [24.840134419242414]
  クリーンな画像とノイズ測定のペアによるディープニューラルネットワークの監視トレーニングは、多くの画像再構成タスクにおいて最先端のパフォーマンスを達成する。 自己監督手法は、クリーンな画像なしでノイズ測定のみに基づくトレーニングを可能にする。 このような自己教師型トレーニングでトレーニングされたモデルが、教師型トレーニングでトレーニングされたモデルと同等であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T14:42:04Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Improving In-Context Few-Shot Learning via Self-Supervised Training [48.801037246764935]
  本稿では,事前学習と下流での撮影の中間訓練段階において,自己監督を併用することを提案する。 中間的な自己超越段階は、強いベースラインよりも優れたモデルを生成する。
  論文  参考訳（メタデータ） (2022-05-03T18:01:07Z)
• SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
  自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。 自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2021-12-23T18:07:13Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation [11.468537169201083]
  ラベル付きデータセット上の教師付きトレーニングでシステムが初期ブートストラップされる自己教師付き学習問題を定式化する。 本研究では,単眼映像におけるフレーム間の時間的一貫性を利用して自己監督訓練を行う。 さらに,自己指導型学習フレームワークは,ネットワークが純粋指導型トレーニングや自己指導型トレーニングよりも深度推定を学習しやすいことを示す。
  論文  参考訳（メタデータ） (2021-03-19T21:28:58Z)
• Self-supervised self-supervision by combining deep learning and probabilistic logic [10.515109852315168]
  自己監督型自己スーパービジョン(S4)を提案し,新たな自己スーパービジョンを自動学習する。 S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。
  論文  参考訳（メタデータ） (2020-12-23T04:06:41Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。