論文の概要: Investigating a Baseline Of Self Supervised Learning Towards Reducing
Labeling Costs For Image Classification
- arxiv url: http://arxiv.org/abs/2108.07464v1
- Date: Tue, 17 Aug 2021 06:43:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 20:57:55.436743
- Title: Investigating a Baseline Of Self Supervised Learning Towards Reducing
Labeling Costs For Image Classification
- Title(参考訳): イメージ分類におけるラベリングコスト削減に向けた自己指導型学習のベースラインの検討
- Authors: Hilal AlQuabeh, Ameera Bawazeer, Abdulateef Alhashmi
- Abstract要約: この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。
その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data labeling in supervised learning is considered an expensive and
infeasible tool in some conditions. The self-supervised learning method is
proposed to tackle the learning effectiveness with fewer labeled data, however,
there is a lack of confidence in the size of labeled data needed to achieve
adequate results. This study aims to draw a baseline on the proportion of the
labeled data that models can appreciate to yield competent accuracy when
compared to training with additional labels. The study implements the
kaggle.com' cats-vs-dogs dataset, Mnist and Fashion-Mnist to investigate the
self-supervised learning task by implementing random rotations augmentation on
the original datasets. To reveal the true effectiveness of the pretext process
in self-supervised learning, the original dataset is divided into smaller
batches, and learning is repeated on each batch with and without the pretext
pre-training. Results show that the pretext process in the self-supervised
learning improves the accuracy around 15% in the downstream classification task
when compared to the plain supervised learning.
- Abstract(参考訳): 教師付き学習におけるデータラベリングは、いくつかの条件において高価で実現不可能なツールであると考えられている。
ラベル付きデータが少ない場合の学習効率を改善するために,自己教師付き学習手法を提案するが,適切な結果を得るためにラベル付きデータのサイズに自信が欠如している。
本研究の目的は,追加ラベルによるトレーニングと比較して,モデルが評価できるラベル付きデータの比率をベースラインにすることにある。
この研究は、kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、オリジナルのデータセットにランダムな回転強化を実装することで自己教師付き学習タスクを調査する。
自己教師型学習におけるプリテキストプロセスの真の有効性を明らかにするために、元のデータセットをより小さなバッチに分割し、プリテキスト事前学習なしで各バッチで学習を繰り返す。
その結果, 自己教師付き学習における前文処理は, 通常の教師付き学習と比較して, 下流分類タスクの約15%の精度が向上することがわかった。
関連論文リスト
- Exploring Learning Complexity for Downstream Data Pruning [9.526877053855998]
本稿では,学習複雑性(LC)を分類・回帰タスクのスコアリング機能として扱うことを提案する。
大規模言語モデルの微調整を行うため,本手法は安定収束による最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-08T02:29:33Z) - Q-Match: Self-supervised Learning by Matching Distributions Induced by a
Queue [6.1678491628787455]
提案アルゴリズムであるQ-Matchを導入し,下流クラスに関する知識を必要とせずに,生徒と教師の分布を推定可能であることを示す。
本手法は, ダウンストリームトレーニングに必要なラベルと事前学習に必要なラベルなしデータの量の両方を指標として, サンプリング効率が高く, ラベル付きデータとラベルなしデータの双方のサイズによく対応していることを示す。
論文 参考訳(メタデータ) (2023-02-10T18:59:05Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳(メタデータ) (2022-11-24T13:18:27Z) - Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。
プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。
各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
論文 参考訳(メタデータ) (2022-01-19T07:58:06Z) - Reducing Label Effort: Self-Supervised meets Active Learning [32.4747118398236]
自己学習の最近の進歩は、いくつかのデータセットで教師付き学習に匹敵する非常に印象的な成果を上げている。
実験の結果, 自己学習は, ラベル付け作業の削減において, 積極的学習よりも極めて効率的であることが判明した。
自己学習またはスクラッチでトレーニングされたアクティブラーニングのパフォーマンスギャップは、データセットのほぼ半分がラベル付けされた時点に近づくにつれて減少します。
論文 参考訳(メタデータ) (2021-08-25T20:04:44Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。
注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。
当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
論文 参考訳(メタデータ) (2020-12-21T12:25:04Z) - Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。
本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。
我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
論文 参考訳(メタデータ) (2020-10-05T17:52:25Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20~30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳(メタデータ) (2020-06-27T08:13:58Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。