論文の概要: Enchancing Semi-Supervised Learning for Extractive Summarization with an
LLM-based pseudolabeler
- arxiv url: http://arxiv.org/abs/2311.09559v1
- Date: Thu, 16 Nov 2023 04:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:53:18.207934
- Title: Enchancing Semi-Supervised Learning for Extractive Summarization with an
LLM-based pseudolabeler
- Title(参考訳): llmを用いた半教師付き学習による抽出要約
- Authors: Gaurav Sahu, Olga Vechtomova, Issam H. Laradji
- Abstract要約: 本研究は,半教師付きアプローチを用いて,限定ラベル付きデータシナリオにおける抽出テキスト要約の課題に取り組む。
GPT-4を用いたプロンプトベースの擬似ラベル選択手法を提案する。
本手法は、Tweetm、WikiHow、ArXiv/Sumの3つのテキスト要約データセット上で評価する。
- 参考スコア(独自算出の注目度): 14.141777581505682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work tackles the task of extractive text summarization in a limited
labeled data scenario using a semi-supervised approach. Specifically, we
propose a prompt-based pseudolabel selection strategy using GPT-4. We evaluate
our method on three text summarization datasets: TweetSumm, WikiHow, and
ArXiv/PubMed. Our experiments show that by using an LLM to evaluate and
generate pseudolabels, we can improve the ROUGE-1 by 10-20\% on the different
datasets, which is akin to enhancing pretrained models. We also show that such
a method needs a smaller pool of unlabeled examples to perform better.
- Abstract(参考訳): 本研究は,半教師付きアプローチを用いて,限定ラベル付きデータシナリオにおける抽出テキスト要約の課題に取り組む。
具体的には,gpt-4を用いたプロンプトに基づく擬似ラベル選択戦略を提案する。
本手法は、TweetSumm、WikiHow、ArXiv/PubMedの3つのテキスト要約データセット上で評価する。
実験の結果,LLMを用いて擬似ラベルを評価・生成することにより,事前学習モデルの拡張に類似した,異なるデータセット上でROUGE-1を10~20 %改善できることがわかった。
また,このような手法ではラベルなしのサンプルのプールが小さくなり,性能が向上することを示す。
関連論文リスト
- Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。
従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。
まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
論文 参考訳(メタデータ) (2023-08-14T06:04:50Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-04T12:52:18Z) - Boosting Semi-Supervised Learning with Contrastive Complementary
Labeling [11.851898765002334]
一般的なアプローチは擬似ラベル作成であり、信頼度の高いラベル付きデータに対してのみ擬似ラベルを生成する。
信頼度が低い擬似ラベルを持つデータは、トレーニングプロセスにまだ有効である可能性があることを強調する。
そこで本研究では,多数の信頼な負対を構成する新しいコントラスト補完ラベリング法を提案する。
論文 参考訳(メタデータ) (2022-12-13T15:25:49Z) - Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for
Semi-Supervised Text Recognition [21.583569162994277]
最も一般的なSSLアプローチの1つは擬似ラベル(PL)である。
PL法はノイズによって著しく劣化し、ノイズの多いラベルに過度に適合する傾向がある。
テキスト認識のための擬似ラベル生成と不確実性に基づくデータ選択フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-31T02:21:02Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for
Few-Shot Learning [125.98370880855579]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - LST: Lexicon-Guided Self-Training for Few-Shot Text Classification [3.7277082975620806]
LSTは,レキシコンを用いて擬似ラベル機構を誘導する簡単な自己学習手法である。
5つのベンチマークデータセットに対して、クラス毎に30のラベル付きサンプルに対して、この単純で巧妙な語彙知識が1.0-2.0%のパフォーマンスを達成することを実証した。
論文 参考訳(メタデータ) (2022-02-05T14:33:12Z) - Unsupervised Selective Labeling for More Effective Semi-Supervised
Learning [46.414510522978425]
教師なしの選択的なラベル付けは、与えられたラベル付きデータの最先端のアクティブラーニングよりもSSLメソッドを一貫して改善する。
私たちの仕事は、実用的で効率的なSSLの新しい標準を設定します。
論文 参考訳(メタデータ) (2021-10-06T18:25:50Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-10T11:58:25Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。
提案手法の有効性を,低データと高データの両方において示す。
論文 参考訳(メタデータ) (2020-10-19T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。