論文の概要: Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection

• arxiv url: http://arxiv.org/abs/2010.15360v1
• Date: Thu, 29 Oct 2020 05:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:54:14.396877
• Title: Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection
• Title（参考訳）: 教師なし拡散検出のための自己学習と自己監視学習の組み合わせ
• Authors: Shaolei Wang, Zhongyuan Wang, Wanxiang Che, Ting Liu
• Abstract要約: 本研究では,未ラベルテキストコーパスを扱える教師なし学習パラダイムについて検討する。 我々のモデルは、自己学習の考え方を拡張する半教師あり学習アプローチである、雑音学習(Noisy Student Training)に関する最近の研究に基づいている。
• 参考スコア（独自算出の注目度）: 80.68446022994492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing approaches to disfluency detection heavily rely on human-annotated corpora, which is expensive to obtain in practice. There have been several proposals to alleviate this issue with, for instance, self-supervised learning techniques, but they still require human-annotated corpora. In this work, we explore the unsupervised learning paradigm which can potentially work with unlabeled text corpora that are cheaper and easier to obtain. Our model builds upon the recent work on Noisy Student Training, a semi-supervised learning approach that extends the idea of self-training. Experimental results on the commonly used English Switchboard test set show that our approach achieves competitive performance compared to the previous state-of-the-art supervised systems using contextualized word embeddings (e.g. BERT and ELECTRA).
• Abstract（参考訳）: 既存のディフルエンシ検出のアプローチのほとんどは、実際に入手するのにコストがかかる人アノテーション付きコーパスに大きく依存している。 この問題を軽減するために、例えば、自己教師付き学習技術でいくつかの提案がなされているが、それでも人間の注釈付きコーパスが必要である。 本研究では,より安価で入手が容易なラベル付きテキストコーパスを扱うことが可能な教師なし学習パラダイムについて検討する。 私たちのモデルは,自己学習の考え方を拡張する半教師付き学習アプローチである,ノイズの多い学生トレーニングに関する最近の研究に基づいている。 一般的な英語Switchboardテストセットを用いた実験結果から,従来の文脈型単語埋め込み (BERT や ELECTRA など) を用いた最先端教師システムと比較して,本手法は競争性能が向上することが示された。

関連論文リスト

• Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings [5.121744234312891]
  潜伏ブートストラッピングは、言語モデルの事前訓練のための代替のセルフスーパービジョン技術である。 我々は,限られた資源から言語知識を取得するために,このアプローチがいかに効果的かを評価する実験を行う。
  論文  参考訳（メタデータ） (2023-10-30T10:31:32Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning [66.00600682711995]
  ヒューマンオブジェクトインタラクション(HOI)検出は、人間中心のシーン理解において重要な役割を担い、多くの視覚タスクの基本的なビルディングブロックとして機能する。 HOI検出のための汎用的でスケーラブルな戦略の1つは、画像レベルのアノテーションからのみ学習する弱い監視を使用することである。 これは、不明瞭な人間と物体の関連、HOIを検出する大きな探索空間、非常にノイズの多い訓練信号によって本質的に困難である。 画像レベルとHOIインスタンスレベルの両方で事前の知識を組み込むことができるCLIP誘導HOI表現を開発し、不正な人間とオブジェクトの関連性を実証するために自己学習機構を採用する。
  論文  参考訳（メタデータ） (2023-03-02T14:41:31Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Adversarial Contrastive Self-Supervised Learning [13.534367890379853]
  オンライン・ハード・ネガティブ・ペア・マイニングに基づく自己教師型深層学習パラダイムを提案する。 正の試料対と固負の試料対の両方を考慮した新しい三重項類似の損失を導出した。
  論文  参考訳（メタデータ） (2022-02-26T05:57:45Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Understand and Improve Contrastive Learning Methods for Visual Representation: A Review [1.4650545418986058]
  手動ラベリングなしで効果的なデータ表現を学習できる可能性から、有望な自己教師型学習が人気を集めている。 本文献レビューは, 自己指導型学習の鍵となる構成要素と限界を理解するための研究者の取り組みについて, 最新の分析を行うことを目的としている。
  論文  参考訳（メタデータ） (2021-06-06T21:59:49Z)
• Crowdsourcing Learning as Domain Adaptation: A Case Study on Named Entity Recognition [19.379850806513232]
  この作業では、個々のアノテーションに関して、すべてのクラウドソースアノテーションをゴールドスタンダードとして扱う点が異なる。 クラウドソーシングはドメイン適応と非常によく似ており,近年のクロスドメイン手法の進歩は,クラウドソーシングにほぼ直接適用可能である。 本研究は,クラウドソーシングの非教師的および教師的双方の学習について検討し,小規模のエキスパートアノテーションが利用できないか,あるいは利用できないことを仮定する。
  論文  参考訳（メタデータ） (2021-05-31T14:11:08Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Detecting Human-Object Interaction with Mixed Supervision [0.0]
  人間の物体の相互作用(HOI)検出は、画像の理解と推論において重要な課題である。 本稿では,モーメント非依存学習の特定の設計のおかげで,混合教師付きHOI検出パイプラインを提案する。 本手法は,挑戦的なHICO-DETデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-11-10T08:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。