論文の概要: Differentiable Data Augmentation for Contrastive Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2210.16536v1
• Date: Sat, 29 Oct 2022 08:57:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 16:49:45.376877
• Title: Differentiable Data Augmentation for Contrastive Sentence Representation Learning
• Title（参考訳）: コントラスト表現学習のための微分データ拡張
• Authors: Tianduo Wang and Wei Lu
• Abstract要約: 提案手法は, 半教師付き設定と教師付き設定の両方において, 既存手法よりも大幅に改善されている。 また,低ラベルデータ設定による実験により,本手法は最先端のコントラスト学習法よりもラベル効率が高いことが示された。
• 参考スコア（独自算出の注目度）: 6.398022050054328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning a pre-trained language model via the contrastive learning framework with a large amount of unlabeled sentences or labeled sentence pairs is a common way to obtain high-quality sentence representations. Although the contrastive learning framework has shown its superiority on sentence representation learning over previous methods, the potential of such a framework is under-explored so far due to the simple method it used to construct positive pairs. Motivated by this, we propose a method that makes hard positives from the original training examples. A pivotal ingredient of our approach is the use of prefix that is attached to a pre-trained language model, which allows for differentiable data augmentation during contrastive learning. Our method can be summarized in two steps: supervised prefix-tuning followed by joint contrastive fine-tuning with unlabeled or labeled examples. Our experiments confirm the effectiveness of our data augmentation approach. The proposed method yields significant improvements over existing methods under both semi-supervised and supervised settings. Our experiments under a low labeled data setting also show that our method is more label-efficient than the state-of-the-art contrastive learning methods.
• Abstract（参考訳）: 大量のラベル付き文やラベル付き文ペアを用いたコントラスト学習フレームワークによる事前学習言語モデルの微調整は、高品質な文表現を得るための一般的な方法である。 対照的な学習フレームワークは従来の手法よりも文表現学習の方が優れているが、そのようなフレームワークのポテンシャルは、前向きなペアを構築するのに使用する単純な方法のため、これまでに未探索である。 そこで本研究では,元来のトレーニング例からハードポジティクスを抽出する手法を提案する。 提案手法の重要な要素は,事前訓練された言語モデルに付加されたプレフィックスを使用することで,コントラスト学習におけるデータ拡張の相違を可能にする。 提案手法は2つのステップで要約できる: 教師付きプレフィックスチューニング, およびラベル付きまたはラベル付例による関節コントラスト微調整。 実験では,データ拡張手法の有効性を確認した。 提案手法は, 半教師付き設定と教師付き設定の両方において, 既存の手法を大きく改善する。 また,低ラベルデータを用いた実験により,最先端のコントラスト学習法よりもラベル効率が高いことを示した。

関連論文リスト

• Deep Learning in Medical Image Registration: Magic or Mirage? [18.620739011646123]
  我々は,画素ごとの強度とラベルの分布と,古典的登録法の性能を明示的に対応させる。 従来の手法では不可能な,教師の弱い学習ベースの手法は,高忠実度やラベル登録が可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-11T18:20:08Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Generate, Discriminate and Contrast: A Semi-Supervised Sentence Representation Learning Framework [68.04940365847543]
  本稿では,大規模未ラベルデータを効果的に活用する半教師付き文埋め込みフレームワークGenSEを提案する。 1) 生成: 生成: 生成/識別器モデルはオープンドメインの未ラベルコーパスから文ペアを合成するために共同で訓練される; 2) 識別: ノイズのある文ペアは識別器によってフィルタリングされ、高品質な正と負の文ペアを取得する; 3) コントラスト: 注釈付きデータと合成されたデータの両方を用いて文表現を学習するために、プロンプトベースのコントラクティブアプローチが提示される。
  論文  参考訳（メタデータ） (2022-10-30T10:15:21Z)
• Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
  教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。 文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。 負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
  論文  参考訳（メタデータ） (2022-06-06T09:46:12Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Constructing Contrastive samples via Summarization for Text Classification with limited annotations [46.53641181501143]
  テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。 実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
  論文  参考訳（メタデータ） (2021-04-11T20:13:24Z)
• Unsupervised Document Embedding via Contrastive Augmentation [48.71917352110245]
  本稿では,教師なしで文書表現を学習するためのデータ拡張手法と対比学習手法を提案する。 画像と事前学習に使われる最近のコントラスト的自己教師付き学習アルゴリズムに触発されて、高品質な文書埋め込みは様々なパラフレーズに不変であるべきだと仮定した。 本手法は,文書分類作業におけるSOTA手法よりも最大6.4%の分類誤差率を減少させることができる。
  論文  参考訳（メタデータ） (2021-03-26T15:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。