論文の概要: Meta-Semi: A Meta-learning Approach for Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2007.02394v3
• Date: Tue, 7 Sep 2021 17:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 07:45:41.165997
• Title: Meta-Semi: A Meta-learning Approach for Semi-supervised Learning
• Title（参考訳）: メタセミ:半教師あり学習のためのメタラーニングアプローチ
• Authors: Yulin Wang, Jiayi Guo, Shiji Song, Gao Huang
• Abstract要約: メタラーニングに基づく新しいSSLアルゴリズム(Meta-Semi)を提案する。 本稿では,Meta-Semiが軽度条件下でラベル付きデータ上で損失関数の定常点に収束することを示す。 Meta-Semiは、CIFAR-100とSTL-10の課題に対して、最先端のSSLアルゴリズムを著しく上回っている。
• 参考スコア（独自算出の注目度）: 43.218180383591196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning based semi-supervised learning (SSL) algorithms have led to promising results in recent years. However, they tend to introduce multiple tunable hyper-parameters, making them less practical in real SSL scenarios where the labeled data is scarce for extensive hyper-parameter search. In this paper, we propose a novel meta-learning based SSL algorithm (Meta-Semi) that requires tuning only one additional hyper-parameter, compared with a standard supervised deep learning algorithm, to achieve competitive performance under various conditions of SSL. We start by defining a meta optimization problem that minimizes the loss on labeled data through dynamically reweighting the loss on unlabeled samples, which are associated with soft pseudo labels during training. As the meta problem is computationally intensive to solve directly, we propose an efficient algorithm to dynamically obtain the approximate solutions. We show theoretically that Meta-Semi converges to the stationary point of the loss function on labeled data under mild conditions. Empirically, Meta-Semi outperforms state-of-the-art SSL algorithms significantly on the challenging semi-supervised CIFAR-100 and STL-10 tasks, and achieves competitive performance on CIFAR-10 and SVHN.
• Abstract（参考訳）: ディープラーニングに基づく半教師付き学習(SSL)アルゴリズムは近年,有望な結果をもたらしている。 しかし、それらは複数の調整可能なハイパーパラメータを導入する傾向があり、ラベル付きデータが広範囲なハイパーパラメータ検索に乏しい実際のsslシナリオでは実用性が低下する。 本稿では、標準の教師付きディープラーニングアルゴリズムと比較し、sslの様々な条件下での競合性能を達成するために、追加のハイパーパラメータのみをチューニングするメタラーニングベースのsslアルゴリズム(meta-semi)を提案する。 まず、トレーニング中にソフトな擬似ラベルに関連付けられたラベルなしサンプルの損失を動的に重み付けすることで、ラベル付きデータの損失を最小限に抑えるメタ最適化問題を定義する。 メタ問題は直接解くのに計算量が多いので,動的に近似解を得る効率的なアルゴリズムを提案する。 本稿では,メタセミが弱条件下でラベル付きデータ上で損失関数の定常点に収束することを示す。 実証的には、Meta-Semiは、CIFAR-100とSTL-10の課題に対して最先端のSSLアルゴリズムを著しく上回り、CIFAR-10とSVHNの競合性能を達成する。

関連論文リスト

• Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
  半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。 我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-30T13:48:50Z)
• Enhanced Meta Label Correction for Coping with Label Corruption [3.6804038214708577]
  本稿では,雑音ラベル問題を用いた学習のための拡張メタラベル補正手法を提案する。 TraditionalCは従来のアプローチより優れており、すべての標準ベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-22T12:11:07Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• RETRIEVE: Coreset Selection for Efficient and Robust Semi-Supervised Learning [9.155410614399159]
  効率的で堅牢な半教師付き学習のためのコアセット選択フレームワークであるRETRIEVEを提案する。 我々は,RETRIEVEが従来のSSL設定で約3倍の高速化を実現し,最先端(SOTA)の堅牢なSSLアルゴリズムと比較して5倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T21:18:47Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• GOALS: Gradient-Only Approximations for Line Searches Towards Robust and Consistent Training of Deep Neural Networks [0.0]
  ミニバッチサブサンプリング(MBSS)は、計算コストを削減するために、ディープニューラルネットワークトレーニングで好まれる。 最適性基準が定義された強い収束特性を持つ勾配限定近似線探索(GOALS)を提案する。
  論文  参考訳（メタデータ） (2021-05-23T11:21:01Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。