論文の概要: Industry Scale Semi-Supervised Learning for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2103.15871v1
• Date: Mon, 29 Mar 2021 18:24:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 08:26:58.670467
• Title: Industry Scale Semi-Supervised Learning for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための産業規模半監督学習
• Authors: Luoxin Chen, Francisco Garcia, Varun Kumar, He Xie, Jianhua Lu
• Abstract要約: 本論文では,学生教師フレームワークに基づく半教師学習(SSL)パイプラインについて述べる。 実運用におけるSSLコンテキストにおけるラベルなしデータの使用に関する2つの質問について検討する。 Pseudo-Label (PL), Knowledge Distillation (KD), Virtual Adversarial Training (VAT), Cross-View Training (CVT)の4つのSSL技術を比較します。
• 参考スコア（独自算出の注目度）: 14.844450283047234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a production Semi-Supervised Learning (SSL) pipeline based on the student-teacher framework, which leverages millions of unlabeled examples to improve Natural Language Understanding (NLU) tasks. We investigate two questions related to the use of unlabeled data in production SSL context: 1) how to select samples from a huge unlabeled data pool that are beneficial for SSL training, and 2) how do the selected data affect the performance of different state-of-the-art SSL techniques. We compare four widely used SSL techniques, Pseudo-Label (PL), Knowledge Distillation (KD), Virtual Adversarial Training (VAT) and Cross-View Training (CVT) in conjunction with two data selection methods including committee-based selection and submodular optimization based selection. We further examine the benefits and drawbacks of these techniques when applied to intent classification (IC) and named entity recognition (NER) tasks, and provide guidelines specifying when each of these methods might be beneficial to improve large scale NLU systems.
• Abstract（参考訳）: 本稿では,NLU(Natural Language Understanding, 自然言語理解)タスクを改善するために, 数百万の未ラベル例を活用し, 学生-教師フレームワークに基づく実運用用セミ・スーパーバイザード・ラーニング(SSL)パイプラインを提案する。 1)SSLトレーニングに有用な巨大な未ラベルデータプールからサンプルをどうやって選択するか,2) 選択したデータは,異なる最先端SSL技術の性能にどのように影響するか,という2つの質問について検討する。 我々は, Pseudo-Label (PL), Knowledge Distillation (KD), Virtual Adversarial Training (VAT), Cross-View Training (CVT) の4つのSSL技術と, 委員会ベース選択とサブモジュール最適化に基づく選択を含む2つのデータ選択手法を比較した。 さらに、意図分類(IC)および名前付きエンティティ認識(NER)タスクに適用した場合のこれらの手法の利点と欠点について検討し、これらの手法が大規模NLUシステムの改善に有効であるかどうかを示すガイドラインを提供する。

関連論文リスト

• Exploration and Exploitation of Unlabeled Data for Open-Set Semi-Supervised Learning [130.56124475528475]
  半教師付き学習 (SSL) において, 未ラベルデータには, 内分布 (ID) と外分布 (OOD) の両方を含む, オープンセット SSL という複雑なシナリオに対処する。 提案手法は, 未ラベルデータにIDサンプルが完全に欠落している場合でも, 既存のSSL方式を改良する。
  論文  参考訳（メタデータ） (2023-06-30T14:25:35Z)
• A Dual-branch Self-supervised Representation Learning Framework for Tumour Segmentation in Whole Slide Images [12.961686610789416]
  自己教師付き学習(SSL)は、スライドイメージ全体のアノテーションオーバーヘッドを低減する代替ソリューションとして登場した。 これらのSSLアプローチは、識別画像の特徴を学習する際の性能を制限するマルチレゾリューションWSIを扱うために設計されていない。 マルチ解像度WSIから画像特徴を効果的に学習できるDSF-WSI(Dual-branch SSL Framework for WSI tumour segmentation)を提案する。
  論文  参考訳（メタデータ） (2023-03-20T10:57:28Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Matching Distributions via Optimal Transport for Semi-Supervised Learning [31.533832244923843]
  SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。 本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。 提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
  論文  参考訳（メタデータ） (2020-12-04T11:15:14Z)
• Knowledge Distillation and Data Selection for Semi-Supervised Learning in CTC Acoustic Models [9.496916045581736]
  半教師付き学習 (SSL) は, 音声認識システムの精度を向上させるために, ラベルのないデータを活用することを目的とした研究の活発な領域である。 本研究の目的は, 不正データのプールからサンプルを選択する際に, 適切な基準が重要であることを確かめることである。 我々は、この疑問に答え、異なるサンプリング戦略の効果を定量化するために、異なるデータ選択方法の実証的研究を行う。
  論文  参考訳（メタデータ） (2020-08-10T07:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。