論文の概要: DeCLUTR: Deep Contrastive Learning for Unsupervised Textual
Representations
- arxiv url: http://arxiv.org/abs/2006.03659v4
- Date: Thu, 27 May 2021 14:57:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 02:51:47.377763
- Title: DeCLUTR: Deep Contrastive Learning for Unsupervised Textual
Representations
- Title(参考訳): DeCLUTR:教師なしテキスト表現のための深層コントラスト学習
- Authors: John Giorgi, Osvald Nitski, Bo Wang, Gary Bader
- Abstract要約: 教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。
本手法は,ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋めるものである。
私たちのコードと事前訓練されたモデルは公開されており、新しいドメインに簡単に適応したり、目に見えないテキストを埋め込むのに使えます。
- 参考スコア(独自算出の注目度): 4.36561468436181
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Sentence embeddings are an important component of many natural language
processing (NLP) systems. Like word embeddings, sentence embeddings are
typically learned on large text corpora and then transferred to various
downstream tasks, such as clustering and retrieval. Unlike word embeddings, the
highest performing solutions for learning sentence embeddings require labelled
data, limiting their usefulness to languages and domains where labelled data is
abundant. In this paper, we present DeCLUTR: Deep Contrastive Learning for
Unsupervised Textual Representations. Inspired by recent advances in deep
metric learning (DML), we carefully design a self-supervised objective for
learning universal sentence embeddings that does not require labelled training
data. When used to extend the pretraining of transformer-based language models,
our approach closes the performance gap between unsupervised and supervised
pretraining for universal sentence encoders. Importantly, our experiments
suggest that the quality of the learned embeddings scale with both the number
of trainable parameters and the amount of unlabelled training data. Our code
and pretrained models are publicly available and can be easily adapted to new
domains or used to embed unseen text.
- Abstract(参考訳): 文埋め込みは多くの自然言語処理(NLP)システムにおいて重要なコンポーネントである。
単語の埋め込みと同様に、文の埋め込みは通常、大きなテキストコーパスで学習され、クラスタリングや検索などの様々な下流タスクに転送される。
単語埋め込みとは異なり、文埋め込みを学習するための最もパフォーマンスの高いソリューションはラベル付きデータを必要とし、ラベル付きデータが豊富である言語やドメインにその有用性を制限する。
本稿では,教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。
近年のディープラーニング(dml)の進歩に触発されて,ラベル付きトレーニングデータを必要としない普遍文埋め込み学習のための自己教師付き目標を慎重に設計した。
変換器に基づく言語モデルの事前学習の拡張に使用すると、ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋める。
実験では,学習した組込みの質は,学習可能なパラメータ数とラベルなしのトレーニングデータ量の両方でスケールすることが示唆された。
私たちのコードと事前学習済みモデルは公開されており、新しいドメインに簡単に適応したり、未公開のテキストを埋め込むことができます。
関連論文リスト
- Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳(メタデータ) (2023-06-15T02:19:34Z) - Extracting Text Representations for Terms and Phrases in Technical
Domains [9.27244202193623]
そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。
このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
論文 参考訳(メタデータ) (2023-05-25T08:59:36Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-05-16T03:38:06Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳(メタデータ) (2023-03-09T09:05:47Z) - Robotic Skill Acquisition via Instruction Augmentation with
Vision-Language Models [70.82705830137708]
言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。
我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。
DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
論文 参考訳(メタデータ) (2022-11-21T18:56:00Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Leveraging Natural Supervision for Language Representation Learning and
Generation [8.083109555490475]
自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。
まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。
文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-21T17:26:03Z) - Iterative Data Programming for Expanding Text Classification Corpora [9.152045698511506]
実世界のテキスト分類タスクは、しばしば、取得するのに高価なラベル付きトレーニング例を必要とする。
機械教育の最近の進歩、特にデータプログラミングパラダイムは、トレーニングデータセットの迅速な作成を促進する。
近所の弱いモデルを生成することによってテキストデータセットを拡大するための,高速でシンプルなデータプログラミング手法を提案する。
論文 参考訳(メタデータ) (2020-02-04T17:12:43Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。