論文の概要: Supervised Graph Contrastive Pretraining for Text Classification

• arxiv url: http://arxiv.org/abs/2112.11389v1
• Date: Tue, 21 Dec 2021 17:47:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 13:21:27.043873
• Title: Supervised Graph Contrastive Pretraining for Text Classification
• Title（参考訳）: テキスト分類のための教師付きグラフコントラスト事前学習
• Authors: Samujjwal Ghosh, Subhadeep Maji, Maunendra Sankar Desarkar
• Abstract要約: 本稿では,グラフに基づく教師付きコントラスト学習手法を用いて,関連タスクからのラベル付きデータを効果的に活用する方法を提案する。 提案手法は,事前学習のスキームを2.5%,サンプルレベルのコントラスト学習に基づく定式化を平均1.8%で上回ることを示す。
• 参考スコア（独自算出の注目度）: 7.068680287596106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive pretraining techniques for text classification has been largely studied in an unsupervised setting. However, oftentimes labeled data from related tasks which share label semantics with current task is available. We hypothesize that using this labeled data effectively can lead to better generalization on current task. In this paper, we propose a novel way to effectively utilize labeled data from related tasks with a graph based supervised contrastive learning approach. We formulate a token-graph by extrapolating the supervised information from examples to tokens. Our formulation results in an embedding space where tokens with high/low probability of belonging to same class are near/further-away from one another. We also develop detailed theoretical insights which serve as a motivation for our method. In our experiments with $13$ datasets, we show our method outperforms pretraining schemes by $2.5\%$ and also example-level contrastive learning based formulation by $1.8\%$ on average. In addition, we show cross-domain effectiveness of our method in a zero-shot setting by $3.91\%$ on average. Lastly, we also demonstrate our method can be used as a noisy teacher in a knowledge distillation setting to significantly improve performance of transformer based models in low labeled data regime by $4.57\%$ on average.
• Abstract（参考訳）: テキスト分類のためのコントラストプリトレーニング技術は、教師なしの設定で主に研究されてきた。 しかし、ラベルセマンティクスを現在のタスクと共有する関連するタスクからラベル付きデータが得られることが多い。 このラベル付きデータを効果的に利用すれば、現在のタスクをより一般化できるという仮説を立てる。 本稿では,グラフに基づく教師付きコントラスト学習手法を用いて,関連するタスクのラベル付きデータを有効に活用する新しい手法を提案する。 我々は,教師付き情報を例からトークンへ外挿することでトークングラフを作成する。 我々の定式化は、同じクラスに属する高い/低い確率のトークンが互いに近い/より近いような埋め込み空間をもたらす。 また,本手法の動機となる詳細な理論的知見も開発している。 13ドルのデータセットを用いた実験では,プレトレーニングスキームを2.5 %$,サンプルレベルのコントラスト学習ベースの定式化を平均1.8 %$で上回る結果を得た。 さらに,ゼロショット設定におけるドメイン間の有効性を平均3.91 %で示す。 最後に,低ラベルデータ方式における変圧器モデルの性能を平均4.57 % 向上させるため,知識蒸留におけるノイズの多い教師としての利用も実証した。

関連論文リスト

• Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
  自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。 単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-10-10T10:20:16Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
  法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。 我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。 分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-15T13:07:02Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation [17.27850877649498]
  本稿では,自己学習と能動的学習を組み合わせた3次元シーンの弱教師付きセグメンテーション手法を提案する。 提案手法は,従来の作業やベースラインよりもシーンセグメンテーションを改善する効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T06:00:25Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Data Consistency for Weakly Supervised Learning [15.365232702938677]
  機械学習モデルのトレーニングには、大量の人間が注釈付けしたデータを使用する。 本稿では、雑音ラベル、すなわち弱い信号を処理する新しい弱監督アルゴリズムを提案する。 本研究では,テキストと画像の分類作業において,最先端の弱い監督手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2022-02-08T16:48:19Z)
• SparseDet: Improving Sparsely Annotated Object Detection with Pseudo-positive Mining [76.95808270536318]
  Pseudo- positive mining を用いてラベル付き地域とラベルなし地域を分離するエンド・ツー・エンドシステムを提案する。 ラベル付き領域は通常通り処理されるが、ラベルなし領域の処理には自己教師付き学習が使用される。 我々は,PASCAL-VOCとCOCOデータセットの5つの分割に対して,最先端の性能を達成するための徹底的な実験を行った。
  論文  参考訳（メタデータ） (2022-01-12T18:57:04Z)
• Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
  両レベル最適化によるデータ要約問題として,本手法を定式化する。 本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-19T16:53:24Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。