論文の概要: Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights

• arxiv url: http://arxiv.org/abs/2006.12360v1
• Date: Mon, 22 Jun 2020 15:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:01:50.178340
• Title: Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights
• Title（参考訳）: 待つな、重みだけ - 目標駆動のインスタンス重み学習による教師なし表現の改善
• Authors: Linus Ericsson, Henry Gouk and Timothy M. Hospedales
• Abstract要約: 自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
• 参考スコア（独自算出の注目度）: 92.16372657233394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the absence of large labelled datasets, self-supervised learning techniques can boost performance by learning useful representations from unlabelled data, which is often more readily available. However, there is often a domain shift between the unlabelled collection and the downstream target problem data. We show that by learning Bayesian instance weights for the unlabelled data, we can improve the downstream classification accuracy by prioritising the most useful instances. Additionally, we show that the training time can be reduced by discarding unnecessary datapoints. Our method, BetaDataWeighter is evaluated using the popular self-supervised rotation prediction task on STL-10 and Visual Decathlon. We compare to related instance weighting schemes, both hand-designed heuristics and meta-learning, as well as conventional self-supervised learning. BetaDataWeighter achieves both the highest average accuracy and rank across datasets, and on STL-10 it prunes up to 78% of unlabelled images without significant loss in accuracy, corresponding to over 50% reduction in training time.
• Abstract（参考訳）: 大きなラベル付きデータセットがないと、自己教師付き学習技術は、しばしば利用しやすい非ラベル付きデータから有用な表現を学ぶことでパフォーマンスを向上させることができる。 しかし、多くの場合、ラベルなしのコレクションと下流のターゲット問題データの間にドメインシフトがある。 非ラベルデータのベイズインスタンス重みを学習することにより,最も有用なインスタンスを優先順位付けすることにより,下流の分類精度を向上させることができることを示す。 さらに,不要なデータポイントを破棄することで,トレーニング時間を短縮できることを示す。 提案手法である betadataweighter は,stl-10 と visual decathlon の自己教師付き回転予測タスクを用いて評価する。 従来の自己教師あり学習と同様に,ハンドデザインのヒューリスティックスとメタラーニングのいずれにおいても,関連するインスタンス重み付けスキームと比較した。 betadataweighterはデータセット全体の平均精度とランクの両方を達成し、stl-10では、トレーニング時間の50%以上削減された精度を損なうことなく、ラベルなし画像の最大78%を浪費する。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Semi-Supervised Learning for Sparsely-Labeled Sequential Data: Application to Healthcare Video Processing [0.8312466807725921]
  逐次データにおける事象検出性能を向上させるための半教師付き機械学習学習戦略を提案する。 本手法では, 事象検出モデルの訓練に, 事象の終了時刻の雑音予測を用いる。 我々は,MNISTの平均精度が12ポイント,CIFARが3.5ポイント,保守的評価が12ポイント向上していることを示す。
  論文  参考訳（メタデータ） (2020-11-28T09:54:44Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
  ImageNet上での半教師あり学習に驚くほど効果的であることを示す。 我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。 ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
  論文  参考訳（メタデータ） (2020-06-17T17:48:22Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。